Cursul 2. Introducere în statistica inferențială

Slide-urile cursului 2
Deschide slide-urile pe tot ecranul În prezentare: ← → navigare, F ecran complet, M meniu, O privire de ansamblu.
Planul cursului

Acesta este primul curs de statistică propriu-zisă. În teoria probabilităților modelul este cunoscut și calculăm probabilitățile rezultatelor posibile; în statistică rezultatele sunt observate, iar modelul care le-a produs este (parțial) necunoscut. Pentru a raționa riguros „de la date la model” avem nevoie de un vocabular precis, pe care îl fixăm astăzi și îl vom folosi tot semestrul: model statistic, eșantion, statistică, repartiție de eșantionare, estimator. Vom vedea apoi că toate cele trei tipuri de răspuns pe care le dă statistica inferențială (un număr, un interval, o decizie) se sprijină pe repartiția de eșantionare a unei statistici, și vom calcula exact această repartiție în câteva modele fundamentale, cu ajutorul funcției generatoare de momente din Cursul 1.

Obiectivele cursului sunt următoarele:

  1. să deosebim o problemă de probabilități de una de statistică și să recunoaștem, pe exemplul urnei, cele trei probleme ale statisticii inferențiale (estimarea punctuală, estimarea prin intervale de încredere, testarea ipotezelor);
  2. să construim un model statistic (în detaliu, modelul urnei) și să decidem dacă este parametric, dominat și identificabil;
  3. să formulăm riguros noțiunile de eșantion, spațiu de selecție, statistică și repartiție de eșantionare și să scriem densitatea comună a unui eșantion;
  4. să determinăm repartiția exactă a sumei, a mediei, a minimului și a maximului unui eșantion în modelele uzuale (prin f.g.m. și prin convoluție);
  5. să comparăm primii estimatori prin media și eroarea lor pătratică medie, exact și prin simulare în R.

Structura: recapitulare; probabilități și statistică; modelul statistic (modelul urnei, tipuri de modele, modele dominate, identificabilitate); eșantion, spațiu de selecție, statistică; repartițiile exacte ale unor statistici; primii estimatori; exerciții rezolvate. Referințe: (Casella and Berger 2002, secț. 5.1–5.2), (Hogg et al. 2019, sec. 4.1), (Knight 2000, secs. 4.1–4.2), (Martin 2015, cap. 1), (Delmas 2010, secs. VIII.1–VIII.2).

1 Recapitulare

Folosim instrumentele de teoria probabilităților din Cursul 1; le reamintim pe cele de care avem nevoie astăzi, cu trimiteri precise.

Rezultate din Cursul 1 folosite azi
  • Câmp de probabilitate \((\Omega,\F,\PP)\) (Definiția 2 din Cursul 1): \(\F\) este o \(\sigma\)-algebră (Definiția 1 din Cursul 1), iar \(\PP\) este o funcție \(\sigma\)-aditivă cu \(\PP(\Omega)=1\). Repartiția unei v.a. \(X\) este probabilitatea \(\PP_X=\PP\circ X^{-1}\), adică \(\PP_X(B)=\PP(X\in B)\), pe \((\R,\B(\R))\) (Definiția 12 din Cursul 1); ea este determinată de funcția de repartiție \(F_X(x)=\PP(X\le x)\).
  • Independența v.a. \(X_1,\dots,X_n\) (Definiția 37 din Cursul 1): \(\PP(X_1\in B_1,\dots,X_n\in B_n)=\prod_i\PP(X_i\in B_i)\); ea este echivalentă cu factorizarea funcției de masă, respectiv a densității comune (Propoziția 38 din Cursul 1); funcții de blocuri disjuncte de v.a. independente sunt independente (Propoziția 39 din Cursul 1).
  • Pentru \(X_1,\dots,X_n\) i.i.d. cu media \(\mu\) și varianța \(\sigma^2\): \(\E[\Xbar]=\mu\), \(\Var(\Xbar)=\sigma^2/n\) (Corolarul 43 din Cursul 1).
  • Funcția generatoare de momente \(M_X(t)=\E[e^{tX}]\) (Definiția 30 din Cursul 1); f.g.m. uzuale (Exemplele 21 din Cursul 1 și 22 din Cursul 1): \(\Bern(p)\): \(1-p+pe^t\); \(\Bin(n,p)\): \((1-p+pe^t)^n\); \(\Pois(\lambda)\): \(e^{\lambda(e^t-1)}\); \(\GammaD(\alpha,\lambda)\): \(\big(\frac{\lambda}{\lambda-t}\big)^\alpha\), \(t<\lambda\), cu \(\Exp(\lambda)=\GammaD(1,\lambda)\); \(\Norm(\mu,\sigma^2)\): \(e^{\mu t+\sigma^2t^2/2}\).
  • Unicitatea: dacă \(M_X=M_Y<\infty\) pe un interval \((-h,h)\), \(h>0\), atunci \(X\) și \(Y\) au aceeași repartiție (Teorema 33 din Cursul 1); \(M_{a+bX}(t)=e^{at}M_X(bt)\) (Lema 31 din Cursul 1); pentru \(X_1,\dots,X_n\) independente, \(M_{X_1+\dots+X_n}=\prod_iM_{X_i}\), iar pentru un eșantion \(M_{S_n}(t)=M(t)^n\) și \(M_{\Xbar}(t)=M(t/n)^n\) (Propoziția 46 din Cursul 1).
  • LNM: \(\Xbar\asto\mu\) dacă \(\E|X_1|<\infty\) (Teorema 61 din Cursul 1); TLC: \(\sqrt n(\Xbar-\mu)/\sigma\dto\Norm(0,1)\) dacă \(0<\sigma^2<\infty\) (Teorema 64 din Cursul 1).

Din LNM și TLC, media \(\bar x_n\) a unor observații independente este o aproximare naturală a mediei necunoscute \(\mu\) a populației, cu fluctuații aproximativ normale de ordinul \(\sigma/\sqrt n\). Această observație conține deja toate ingredientele statisticii inferențiale — o populație cu un parametru necunoscut, observații independente, o funcție de observații folosită pentru a aproxima parametrul și repartiția acestei funcții —, dar le folosește informal. Scopul cursului de astăzi este să le dăm definiții precise.

2 Probabilități și statistică

Teoria probabilităților și statistica matematică privesc aceleași obiecte (variabile aleatoare, repartiții, medii, varianțe), dar le abordează din direcții opuse. În teoria probabilităților modelul este cunoscut și ne întrebăm ce date vom observa; în statistică datele sunt cunoscute și ne întrebăm ce model (ce valoare a parametrilor) le-a produs: raționăm de la eșantion la populație, nu de la populație la eșantion (Martin 2015, sec. 1.1). Statistica folosește date generate de un fenomen aleator pentru a trage concluzii despre trăsăturile deterministe ale fenomenului, cuantificând incertitudinea acestor concluzii (Panaretos 2016, cap. 1).

Distingem statistica descriptivă, care rezumă datele observate fără a face afirmații dincolo de ele, și statistica inferențială, care privește datele ca realizări ale unor variabile aleatoare a căror repartiție este parțial necunoscută și trage concluzii despre această repartiție. Cursul nostru este dedicat statisticii inferențiale și are patru părți: simulare, estimare punctuală, estimare prin intervale de încredere și testarea ipotezelor.

2.1 Un exemplu fundamental: urna cu bile roșii și verzi

Exemplul următor conține în germene toate problemele semestrului; îl vom relua de mai multe ori, iar în Secțiunea 3.1 îi vom construi explicit modelul matematic.

Exemplul 1 (Urna cu bile roșii și verzi)

O urnă conține bile roșii și verzi, proporția (necunoscută) a bilelor roșii fiind \(\theta\in[0,1]\). Efectuăm \(n=20\) de extrageri cu întoarcere și notăm \(X_j=1\) dacă la extragerea \(j\) obținem o bilă roșie, \(X_j=0\) altfel.

Problema de probabilități. Știm că \(23\%\) dintre bile sunt roșii (\(\theta=0.23\)). Care este probabilitatea de a obține exact 5 bile roșii? Bila extrasă este pusă înapoi, deci compoziția urnei este aceeași la fiecare extragere: \(\PP(X_j=1)=0.23\) pentru orice \(j\), iar extragerile sunt independente. Numărul de bile roșii extrase, \(S_{20}=X_1+\dots+X_{20}\), are deci repartiția \(\Bin(20,0.23)\) (vom demonstra aceasta în Propoziția 2). Iată de unde vine formula: evenimentul \(\{S_{20}=5\}\) este reuniunea disjunctă a evenimentelor „bilele roșii apar exact la extragerile \(j_1<\dots<j_5\)”, câte unul pentru fiecare submulțime \(\{j_1,\dots,j_5\}\subseteq\{1,\dots,20\}\); fiecare dintre ele are, din independență, probabilitatea \((0.23)^5(0.77)^{15}\) (cinci extrageri dau o bilă roșie, celelalte cincisprezece una verde), iar numărul lor este \(\binom{20}{5}=15\,504\). Așadar \[ \PP(S_{20}=5)=\binom{20}{5}(0.23)^5(0.77)^{15}=15\,504\cdot 0.000\,643\,6\cdot 0.019\,832\approx 0.1979 . \] Chiar un rezultat „tipic” (media lui \(S_{20}\) este \(20\cdot0.23=4.6\)) are o probabilitate de numai aproximativ \(20\%\): variabilitatea datelor este mare atunci când \(n\) este mic. Valorile vecine au probabilități comparabile, \(\PP(S_{20}=3)\approx0.163\), \(\PP(S_{20}=4)\approx0.207\), \(\PP(S_{20}=6)\approx0.148\), deci nici rezultatul cel mai probabil (\(4\) bile roșii) nu apare decât o dată din cinci.

Problema de statistică. Am extras 20 de bile și am observat 5 bile roșii. Ce putem spune despre \(\theta\)? Răspunsul natural este estimarea punctuală \(\hat\theta=5/20=0.25\), proporția bilelor roșii din eșantion. Ea se justifică și altfel: dintre toate valorile posibile ale lui \(\theta\), o alegem pe aceea care face rezultatul observat cel mai probabil. Probabilitatea observației, ca funcție de \(\theta\), este \(L(\theta)=\binom{20}{5}\theta^5(1-\theta)^{15}\), \(\theta\in[0,1]\), iar pentru \(\theta\in(0,1)\) \[ (\ln L)'(\theta)=\frac5\theta-\frac{15}{1-\theta}=\frac{5(1-\theta)-15\theta}{\theta(1-\theta)}=\frac{5-20\theta}{\theta(1-\theta)} , \] unde am derivat \(\ln L(\theta)=\ln\binom{20}{5}+5\ln\theta+15\ln(1-\theta)\) (logaritmul transformă produsul în sumă, iar constanta \(\ln\binom{20}{5}\) dispare la derivare). Numitorul \(\theta(1-\theta)\) este pozitiv, deci semnul este cel al numărătorului \(5-20\theta\): expresia este pozitivă pentru \(\theta<0.25\) și negativă pentru \(\theta>0.25\). Deci \(L\) (care are același sens de variație ca \(\ln L\)) crește pe \((0,0.25]\) și descrește pe \([0.25,1)\); cum \(L(0)=L(1)=0\), maximul lui \(L\) pe \([0,1]\) este atins în \(\hat\theta=0.25\), unde \(L(0.25)\approx0.2023\). Pentru comparație, \(L(0.23)\approx0.1979\) (valoarea din problema de probabilități) și \(L(0.5)\approx0.0148\): observația „5 bile roșii din 20” este de aproape \(14\) ori mai probabilă dacă \(\theta=0.25\) decât dacă \(\theta=0.5\).

Imediat apar întrebări noi: cât de precisă este această estimare (Cursul 7)? Putem da un interval, de forma \(0.25\pm\varepsilon\), care conține \(\theta\) cu mare încredere (Cursul 12)? Sunt datele compatibile cu afirmația „urna conține la fel de multe bile roșii ca verzi”, adică \(\theta=0.5\) (Cursul 14)? Le dăm un prim răspuns în Exemplul 2.

Figura 1 ilustrează cele două puncte de vedere. În stânga, \(\theta=0.23\) este fixat și privim probabilitatea ca funcție de rezultatul \(k\); în dreapta, rezultatul \(k=5\) este fixat și privim aceeași expresie \(\binom{20}{5}\theta^5(1-\theta)^{15}\) ca funcție de parametrul \(\theta\). Această a doua funcție se numește funcția de verosimilitate; ea va juca un rol central în Cursul 9. Verosimilitatea nu este o densitate în \(\theta\) (aria de sub graficul din dreapta nu este \(1\)): ea compară doar valorile parametrului între ele.

Arată codul R
k <- 0:20
# stânga: funcția de masă Bin(20, 0.23), cu bara k = 5 în roșu
p1 <- plot_pmf(k, dbinom(k, 20, 0.23), xlab = "k", ylab = "P(S = k)",
               titlu = expression(theta == 0.23 ~ "fixat")) +
  annotate("segment", x = 5, xend = 5, y = 0, yend = dbinom(5, 20, 0.23),
           colour = culori[["rosu"]], linewidth = 1.3)
# dreapta: aceeași expresie, ca funcție de theta (verosimilitatea)
th <- seq(0, 1, length.out = 400)
p2 <- ggplot(data.frame(th, L = dbinom(5, 20, th)), aes(th, L)) +
  geom_line() +
  geom_vline(xintercept = 0.25, linetype = 2, colour = culori[["rosu"]]) +
  labs(title = "k = 5 observat", x = expression(theta),
       y = expression(P[theta](S == 5)))
p1 + p2
Figura 1: Stânga: funcția de masă a repartiției \(\Bin(20,0.23)\) (problema de probabilități), cu valoarea \(k=5\) evidențiată. Dreapta: \(\theta\mapsto\PP_\theta(S_{20}=5)\) (problema de statistică), maximă în \(\hat\theta=0.25\).

2.2 Cele trei probleme ale statisticii inferențiale

Exemplul urnei ne permite să formulăm, încă de acum, cele trei tipuri de răspunsuri pe care statistica inferențială le dă la întrebarea „ce putem spune despre \(\theta\)?”. Ele diferă prin natura răspunsului: un număr, un interval, o decizie.

Exemplul 2 (Cele trei probleme pe exemplul urnei)

Reluăm observația din Exemplul 1: \(n=20\) extrageri cu întoarcere, \(k=5\) bile roșii; notăm \(M_n=S_n/n\) proporția bilelor roșii printre cele extrase.

(1) Estimare punctuală. Propunem o singură valoare pentru \(\theta\), și anume \(\hat\theta=M_{20}=0.25\). Aceasta este valoarea observată a variabilei aleatoare \(M_{20}\); o altă repetare a experimentului ar da, în general, o altă valoare. Calitatea unei reguli de estimare se judecă deci prin repartiția lui \(M_n\) (sub fiecare valoare posibilă a lui \(\theta\)), nu prin valoarea observată.

(2) Estimare prin interval de încredere. Căutăm un interval aleator care să conțină \(\theta\) cu o probabilitate fixată dinainte, de exemplu \(0.95\). Cum \(S_n\sim\Bin(n,\theta)\), avem \(\E_\theta[M_n]=\theta\) și \(\Var_\theta(M_n)=\theta(1-\theta)/n\) (din media \(n\theta\) și varianța \(n\theta(1-\theta)\) ale repartiției binomiale, Exemplul 16 din Cursul 1; vezi și Propoziția 2), iar din TLC (Teorema 64 din Cursul 1), pentru \(n\) mare, \((M_n-\theta)/\sqrt{\theta(1-\theta)/n}\) are aproximativ repartiția \(\Norm(0,1)\), deci \[ \PP_\theta\Big(|M_n-\theta|\le 1.96\sqrt{\tfrac{\theta(1-\theta)}{n}}\Big)\approx \Phi(1.96)-\Phi(-1.96)=2\Phi(1.96)-1\approx0.95 . \] Evenimentul din paranteză spune că \(\theta\) se află în intervalul \(M_n\pm1.96\sqrt{\theta(1-\theta)/n}\); lungimea lui depinde însă de \(\theta\) necunoscut. Înlocuind abaterea standard cu estimarea ei, eroarea standard \(\sqrt{\hat\theta(1-\hat\theta)/n}=\sqrt{0.25\cdot0.75/20}\approx0.0968\), obținem intervalul (de tip Wald) \[ 0.25\pm1.96\cdot0.0968=0.25\pm0.190=[0.060,\ 0.440]. \] Intervalul este foarte larg: 20 de extrageri conțin puțină informație despre \(\theta\). Pentru \(n\) atât de mic aproximarea normală este discutabilă; intervalul exact (Clopper–Pearson), pe care îl vom construi în Cursul 12, este \([0.087,\ 0.491]\).

(3) Testarea unei ipoteze. Afirmația „urna conține la fel de multe bile roșii ca verzi” înseamnă \(\theta=0.5\). Dacă ea ar fi adevărată, \(S_{20}\sim\Bin(20,0.5)\), iar probabilitatea de a obține un rezultat cel puțin la fel de defavorabil afirmației ca cel observat (cel mult 5 bile roșii) este \[ \begin{aligned} \PP_{0.5}(S_{20}\le5)&=2^{-20}\sum_{k=0}^{5}\binom{20}{k}=\frac{1+20+190+1\,140+4\,845+15\,504}{1\,048\,576}\\ &=\frac{21\,700}{1\,048\,576}\approx0.0207 . \end{aligned} \] Un rezultat atât de extrem apare rar (în aproximativ \(2\%\) din repetările experimentului) sub această ipoteză, ceea ce ne face să o respingem; numărul \(0.0207\) este o \(p\)-valoare (Cursul 14). Concluzia concordă cu (2): valoarea \(0.5\) nu aparține niciunuia dintre intervale.

n <- 20; k <- 5; th <- k / n
es <- sqrt(th * (1 - th) / n)        # eroarea standard estimată
z <- qnorm(0.975)                    # cuantila 0.975 a lui N(0, 1)
round(c(estimare = th, Wald_st = th - z * es, Wald_dr = th + z * es,
        CP_st = binom.test(k, n)$conf.int[1],   # intervalul exact
        CP_dr = binom.test(k, n)$conf.int[2],
        p_valoare = pbinom(5, 20, 0.5)), 4)
#>  estimare   Wald_st   Wald_dr     CP_st     CP_dr p_valoare 
#>    0.2500    0.0602    0.4398    0.0866    0.4910    0.0207

Citim rezultatul de la stânga la dreapta: estimația punctuală \(0.25\); capetele intervalului Wald, \(0.0602\) și \(0.4398\) (valorile \(0.060\) și \(0.440\) de la (2)); capetele intervalului exact Clopper–Pearson, \(0.0866\) și \(0.4910\), calculate de binom.test; \(p\)-valoarea \(0.0207\) de la (3), obținută cu funcția de repartiție binomială pbinom. Cele două intervale diferă vizibil: intervalul exact este deplasat spre dreapta și nu este simetric față de \(0.25\), semn că, pentru \(n=20\), repartiția lui \(M_n\) nu este încă bine aproximată de o repartiție normală.

Toate cele trei răspunsuri folosesc repartiția statisticii \(S_{20}\) (sau \(M_{20}\)) sub diverse valori ale lui \(\theta\): aceasta este ideea centrală a cursului de astăzi.

Merită să subliniem ce este aleator și ce nu în raționamentele de mai sus. Parametrul \(\theta\) este un număr fix, necunoscut; aleatoare sunt datele și, prin ele, estimația, intervalul și decizia. Afirmația „intervalul conține \(\theta\) cu probabilitatea \(0.95\)” se referă la procedura de construcție, aplicată pe experimente repetate, nu la intervalul numeric \([0.060,0.440]\), care fie îl conține pe \(\theta\), fie nu. Simularea următoare repetă experimentul de \(10\,000\) de ori pentru \(\theta=0.23\) și numără de câte ori intervalul Wald îl conține pe \(\theta\).

set.seed(202)
theta <- 0.23; n <- 20; B <- 10000
S <- rbinom(B, size = n, prob = theta)       # B repetări ale experimentului
M <- S / n                                   # B proporții observate
es <- sqrt(M * (1 - M) / n)                  # B erori standard estimate
acoperit <- abs(M - theta) <= qnorm(0.975) * es
c(media_M = mean(M), var_M = var(M), var_teoretica = theta * (1 - theta) / n,
  frecv_acoperire = mean(acoperit))
#>         media_M           var_M   var_teoretica frecv_acoperire 
#>        0.229145        0.009026        0.008855        0.936200

Codul urmează întocmai descrierea experimentului: rbinom produce cele \(10\,000\) de valori ale lui \(S_{20}\) (câte una pentru fiecare repetare), din care calculăm proporția, eroarea standard estimată și, pentru fiecare repetare, dacă intervalul ei îl conține pe \(\theta\). Media celor \(10\,000\) de proporții simulate (\(0.2291\)) este foarte apropiată de \(\theta=0.23\), iar varianța lor (\(0.00903\)) de \(\theta(1-\theta)/n\approx0.00886\), în acord cu Propoziția 2. Intervalul Wald îl conține însă pe \(\theta\) doar în \(93.6\%\) din repetări, mai puțin decât cele \(95\%\) anunțate: aproximarea normală nu este încă bună pentru \(n=20\), iar când \(M_n=0\) (eveniment de probabilitate \(0.77^{20}\approx0.0054\)) intervalul degenerează în punctul \(0\). Vom reveni la aceste chestiuni în Cursul 12.

2.3 Alte exemple introductive

Exemplele următoare sunt tipice pentru aplicațiile statisticii și vor fi reluate pe parcursul cursului.

Exemplul 3 (Un sondaj de opinie)

Un institut de sondaje intervievează \(n=1\,000\) de alegători aleși aleator; 412 declară că vor vota cu candidatul A. Populația este mulțimea alegătorilor, iar parametrul de interes este proporția \(p\) a celor care votează cu A. Răspunsul persoanei \(i\) se modelează prin \[ X_i=\begin{cases}1, & \text{persoana } i \text{ votează cu A},\\ 0, & \text{altfel},\end{cases}\qquad X_i\sim\Bern(p),\quad i=1,\dots,1\,000, \] iar estimarea naturală este proporția observată \(\hat p=\frac1n\sum_{i=1}^nx_i=412/1\,000=0.412\). Proporția \(\hat p\) are (în modelul i.i.d.) media \(p\) și abaterea standard \(\sqrt{p(1-p)/n}\) (Corolarul 43 din Cursul 1); înlocuind \(p\) cu \(\hat p\), obținem eroarea standard estimată \[ \sqrt{\frac{\hat p(1-\hat p)}{n}}=\sqrt{\frac{0.412\cdot0.588}{1\,000}}=\sqrt{0.000\,242\,3}\approx0.0156 . \] Rezultatele sondajelor sunt raportate de obicei sub forma \(41.2\%\pm3.1\%\), adică intervalul \([38.1\%,\,44.3\%]\), marja \(3.1\%\approx1.96\cdot1.56\%\) provenind, ca în Exemplul 2(2), din TLC (Cursul 12). Față de urna cu \(n=20\), unde marja era de \(19\) puncte procentuale, un eșantion de \(50\) de ori mai mare dă o marjă de numai aproximativ \(6\) ori mai mică: marja este proporțională cu \(1/\sqrt n\) (iar \(\sqrt{50}\approx7.1\); restul diferenței vine din factorul \(\hat p(1-\hat p)\), mai mare aici).

Exemplul 4 (Timpul de funcționare al unor becuri)

Un producător testează \(n=10\) becuri și înregistrează timpii lor de funcționare (în mii de ore): \[ 0.35,\ 1.92,\ 0.78,\ 2.61,\ 0.12,\ 1.05,\ 0.49,\ 3.20,\ 0.88,\ 1.40 . \] Un model clasic pentru timpii de funcționare ai unor componente care „nu îmbătrânesc” este cel exponențial: \(X_1,\dots,X_{10}\) i.i.d. \(\Exp(\lambda)\), cu densitatea \(f_\lambda(x)=\lambda e^{-\lambda x}\), \(x>0\), și \(\lambda>0\) necunoscut. Timpul mediu de funcționare este \(\mu=\E_\lambda[X]=1/\lambda\) (Exemplul 16 din Cursul 1), iar probabilitatea ca un bec să funcționeze mai mult de \(t\ge0\) mii de ore este \(\PP_\lambda(X>t)=\int_t^\infty\lambda e^{-\lambda x}\dd x=\big[-e^{-\lambda x}\big]_t^\infty=e^{-\lambda t}\).

Întrebări statistice. (a) Cât este timpul mediu de funcționare \(\mu=1/\lambda\)? (b) Care este probabilitatea ca un bec să depășească \(2\,000\) de ore, adică \(e^{-2\lambda}\)? (c) Producătorul afirmă că \(\mu\ge1.5\) (mii de ore); este afirmația compatibilă cu datele?

Primele răspunsuri. Suma observațiilor este \((0.35+1.92+0.78+2.61+0.12)+(1.05+0.49+3.20+0.88+1.40)=5.78+7.02=12.80\), deci media eșantionului este \(\bar x_{10}=12.80/10=1.28\). Cum \(\mu\) este media populației, o aproximăm prin media eșantionului: \(\mu\approx1.28\) (mii de ore). Atunci \(\lambda=1/\mu\) se aproximează prin \(1/1.28=0.78125\), iar probabilitatea de la (b) prin \(e^{-2\cdot0.78125}=e^{-1.5625}\approx0.2096\): aproximativ un bec din cinci ar depăși \(2\,000\) de ore. (În eșantion, două becuri din zece au depășit acest prag: \(2.61\) și \(3.20\).) Nu este însă singura alegere posibilă: vom vedea (Propoziția 15) că \(nX_{(1)}=n\min_iX_i\) are aceeași repartiție \(\Exp(\lambda)\) ca o observație, deci are și ea media \(\mu\); pe datele noastre, \(10\cdot0.12=1.2\). Două reguli rezonabile dau răspunsuri diferite: care este mai bună (Secțiunea 6)? Pentru (c) avem nevoie de repartiția exactă a lui \(\Xbar\) (Exemplul 20).

3 Modelul statistic

Pentru a formaliza problema statistică avem nevoie de un obiect matematic care să descrie simultan toate repartițiile pe care le considerăm plauzibile pentru date. În teoria probabilităților lucrăm cu un singur câmp de probabilitate \((\Omega,\F,\PP)\) (Definiția 2 din Cursul 1); în statistică probabilitatea \(\PP\) este necunoscută și este înlocuită de o familie de probabilități, indexată de un parametru.

Definiția 1 (Model statistic)

Numim model statistic (parametric) un spațiu măsurabil \((\Omega,\F)\) împreună cu o familie de măsuri de probabilitate \(\{\PP_\theta:\ \theta\in\Theta\}\) definite pe \(\F\). Notăm \[ \xi=\big(\Omega,\F,\{\PP_\theta\}_{\theta\in\Theta}\big),\qquad \Theta\subseteq\R^d . \] Mulțimea \(\Omega\) se numește spațiul stărilor (mulțimea evenimentelor elementare), \(\F\subseteq\mathcal{P}(\Omega)\) este \(\sigma\)-algebra evenimentelor asociate experimentului aleator, iar \(\Theta\) se numește spațiul parametrilor. Media și varianța calculate sub \(\PP_\theta\) se notează \(\E_\theta\), respectiv \(\Var_\theta\).

Pentru fiecare \(\theta\in\Theta\), tripletul \((\Omega,\F,\PP_\theta)\) este un câmp de probabilitate obișnuit, deci toate rezultatele din Cursul 1 se aplică „pentru fiecare \(\theta\) în parte”. Ipoteza fundamentală a statisticii parametrice este că datele au fost produse de una dintre probabilitățile familiei, \(\PP_{\theta_0}\), cu \(\theta_0\in\Theta\) necunoscut (valoarea „adevărată” a parametrului). Mulțimea \(\Theta\) este cunoscută; \(\theta_0\) nu. Din comoditate notăm tot cu \(\theta\) și valoarea adevărată, și o valoare generică a parametrului; contextul elimină ambiguitatea. Proprietățile procedurilor statistice (estimatori, intervale, teste) se formulează de aceea „pentru orice \(\theta\in\Theta\)”: nu știm care este valoarea adevărată, deci cerem ca procedura să se comporte bine oricare ar fi ea.

În majoritatea aplicațiilor observăm un vector aleator \(\bX=(X_1,\dots,X_n)\) cu valori într-o mulțime \(\mathcal{X}^n\subseteq\R^n\), iar ceea ce contează este doar repartiția lui \(\bX\). Putem atunci lua ca spațiu al stărilor chiar mulțimea valorilor posibile ale datelor, \(\Omega=\mathcal{X}^n\), cu \(\F=\B(\mathcal{X}^n)\), și ca \(\PP_\theta\) repartiția lui \(\bX\) sub parametrul \(\theta\); \(\bX\) devine atunci aplicația identică. Acest model se numește modelul canonic; îl vom folosi pentru eșantioane în Secțiunea 4.

Definiția este abstractă; înainte de a merge mai departe, o citim pe două experimente foarte simple, unul discret și unul continuu.

Exemplul 5 (Două modele statistice scrise complet)

Pentru fiecare experiment precizăm cele trei componente ale modelului — spațiul stărilor, evenimentele, familia de probabilități indexată de parametru — și calculăm probabilitatea unui același eveniment sub două valori ale parametrului. În ambele cazuri folosim modelul canonic: \(\Omega\) este mulțimea valorilor posibile ale observației.

  1. Apeluri la un call-center. Observăm numărul \(X\) de apeluri primite într-o oră. Valorile posibile sunt numerele naturale, deci \[ \Omega=\N,\qquad \F=\mathcal P(\N),\qquad \Theta=(0,\infty),\qquad \PP_\lambda(\{k\})=e^{-\lambda}\frac{\lambda^k}{k!},\quad k\in\N, \] adică \(\PP_\lambda=\Pois(\lambda)\), cu \(\PP_\lambda(A)=\sum_{k\in A}\PP_\lambda(\{k\})\) pentru \(A\subseteq\N\). Parametrul are o interpretare directă: \(\E_\lambda[X]=\lambda\) este numărul mediu de apeluri pe oră. Evenimentul \(A=\{0\}\) („niciun apel”) are probabilitatea \(\PP_\lambda(A)=e^{-\lambda}\): \(\PP_2(A)=e^{-2}\approx0.1353\), dar \(\PP_5(A)=e^{-5}\approx0.0067\).

  2. O măsurătoare. Cântărim un obiect de masă necunoscută \(\mu\) (în grame) cu un cântar ale cărui erori sunt normale, de medie \(0\) și abatere standard cunoscută \(\sigma_0=0.5\). Rezultatul afișat poate fi orice număr real: \[ \Omega=\R,\qquad \F=\B(\R),\qquad \Theta=\R,\qquad \PP_\mu(A)=\int_A\frac{1}{0.5\sqrt{2\pi}}\,e^{-2(x-\mu)^2}\dd x , \] adică \(\PP_\mu=\Norm(\mu,\,0.25)\) (exponentul este \(-\frac{(x-\mu)^2}{2\cdot0.25}=-2(x-\mu)^2\)). Pentru \(A=(10,\infty)\) („cântarul arată peste \(10\) g”), standardizând (Propoziția 18 din Cursul 1), \(\PP_\mu(A)=1-\Phi\big(\frac{10-\mu}{0.5}\big)\): \(\PP_{9.5}(A)=1-\Phi(1)\approx0.1587\) și \(\PP_{10.5}(A)=1-\Phi(-1)=\Phi(1)\approx0.8413\). Dacă nici precizia cântarului nu este cunoscută, parametrul devine \(\theta=(\mu,\sigma^2)\), cu \(\Theta=\R\times(0,\infty)\subseteq\R^2\): același spațiu \((\Omega,\F)\), o familie mai bogată de probabilități.

În ambele cazuri spațiul \((\Omega,\F)\) este același pentru toate valorile parametrului; odată cu \(\theta\) se schimbă doar probabilitățile evenimentelor. Tocmai de aceea o observație ne informează despre parametru: dacă într-o oră nu sosește niciun apel, valoarea \(\lambda=2\) explică observația de \(20\) de ori mai bine decât \(\lambda=5\) (\(0.1353/0.0067\approx20\)).

Observație

Un model statistic este întotdeauna o aproximare a realității (Knight 2000, sec. 4.1). De exemplu, înălțimea unei persoane este pozitivă, deci nu poate avea exact o repartiție normală. Totuși, dacă \(Z\sim\Norm(0,1)\), atunci \(\PP(|Z|>8)\approx1.2\cdot10^{-15}\): pentru orice volum de date realist, un eșantion normal nu poate fi deosebit de unul cu valori mărginite. Un model este bun nu când este „adevărat”, ci când concluziile trase din el sunt fiabile; dintre două modele care explică la fel de bine datele îl preferăm pe cel mai simplu (briciul lui Occam). Robustețea concluziilor la abateri de la model va fi studiată prin simulare în cursurile despre intervale și teste.

3.1 Modelul statistic al urnei

Construim acum explicit un model statistic pentru experimentul din Exemplul 1: din urna cu bile roșii (\(r\)) și verzi (\(v\)) extragem \(n\) bile cu întoarcere și notăm culorile. Construcția arată cum cerințele intuitive („extragerile sunt independente”, „fiecare extragere dă o bilă roșie cu probabilitatea \(\theta\)”) determină complet modelul.

Spațiul stărilor. Rezultatul experimentului este succesiunea culorilor extrase, deci \[ \Omega=\Omega_n=\big\{(u_1,u_2,\dots,u_n):\ u_i\in\{r,v\}\big\}=\{r,v\}^n,\qquad \F=\F_n=\mathcal{P}(\Omega_n). \] Mulțimea \(\Omega_n\) are \(2^n\) elemente; fiind finită, putem lua drept evenimente toate submulțimile ei.

Spațiul parametrilor. Parametrul necunoscut este proporția \(\theta\) a bilelor roșii. Dacă știm că urna conține în total \(N\) bile, atunci \(\theta\) poate lua doar valorile \(\ell/N\), \(0\le\ell\le N\); dacă nu cunoaștem numărul total de bile, orice proporție rațională este posibilă. Așadar \[ \Theta=\begin{cases} \big\{\tfrac{\ell}{N}:\ 0\le \ell\le N\big\}, & \text{dacă numărul } N \text{ de bile este cunoscut},\\[2pt] [0,1]\cap\Q, & \text{dacă } N \text{ nu este cunoscut}. \end{cases} \] În practică se ia adesea \(\Theta=[0,1]\), ceea ce simplifică analiza (putem deriva în raport cu \(\theta\), ca în Exemplul 1) fără a schimba concluziile.

Familia de probabilități. Pentru fiecare \(\theta\in\Theta\) alegem \(\PP_\theta\) pe \((\Omega,\F)\) astfel încât extragerile să fie independente, iar la fiecare extragere \(j\in\{1,\dots,n\}\) probabilitatea de a obține o bilă roșie să fie \(\theta\). Dacă aceste cerințe sunt îndeplinite, atunci, pentru \(\omega=(u_1,\dots,u_n)\), evenimentul elementar \(\{\omega\}\) este intersecția evenimentelor „la extragerea \(j\) apare culoarea \(u_j\)”, \(j=1,\dots,n\), iar probabilitatea lui este produsul a \(s\) factori egali cu \(\theta\) și \(n-s\) factori egali cu \(1-\theta\). Cerințele impun deci \[ \PP_\theta\big(\{\omega\}\big)=\PP_\theta\big(\{(u_1,\dots,u_n)\}\big)=\theta^{s}(1-\theta)^{n-s},\qquad s=s(\omega)=\#\{i:\ u_i=r\}, \tag{1}\] unde \(s\) este numărul de bile roșii extrase, iar pentru \(A\subseteq\Omega\) punem \(\PP_\theta(A)=\sum_{\omega\in A}\PP_\theta(\{\omega\})\). Definim, pentru \(\omega=(u_1,\dots,u_n)\), \[ X_i(\omega)=\begin{cases}1, & u_i=r,\\ 0, & \text{altfel},\end{cases}\qquad i=1,\dots,n,\qquad S_n=X_1+\dots+X_n,\qquad M_n=\frac{S_n}{n} . \] \(S_n\) este numărul de bile roșii extrase, iar \(M_n\) proporția lor printre cele \(n\) bile extrase. Înainte de a demonstra în general că obiectele definite astfel au proprietățile dorite, le calculăm pe toate într-un caz foarte mic, în care fiecare eveniment elementar poate fi scris.

Exemplul 6 (O urnă mică, calculată complet)

O urnă conține \(N=5\) bile, dintre care \(2\) roșii și \(3\) verzi, deci \(\theta=\frac25=0.4\); extragem \(n=3\) bile cu întoarcere.

De unde vine formula (1). Numerotăm bilele: \(1\) și \(2\) sunt roșii, \(3,4,5\) sunt verzi. Dacă notăm și numărul bilei extrase, experimentul are \(5^3=125\) de rezultate \((b_1,b_2,b_3)\), egal probabile (la fiecare extragere, fiecare bilă are aceeași șansă de a fi aleasă). Succesiunea de culori \((r,v,v)\) apare atunci când prima bilă este una dintre cele \(2\) roșii, iar următoarele două sunt, fiecare, una dintre cele \(3\) verzi: \(2\cdot3\cdot3=18\) rezultate, deci probabilitatea \(\frac{18}{125}=0.144=0.4\cdot0.6\cdot0.6\). La fel, o succesiune cu \(s\) bile roșii corespunde la \(2^s\,3^{3-s}\) rezultate, deci are probabilitatea \[ \frac{2^s\,3^{3-s}}{5^3}=\Big(\frac25\Big)^s\Big(\frac35\Big)^{3-s}=\theta^s(1-\theta)^{3-s} . \] Formula (1) nu este deci o convenție: ea rezultă din numărarea unor cazuri egal probabile.

Toate evenimentele elementare. Spațiul \(\Omega_3=\{r,v\}^3\) are \(2^3=8\) elemente (scriem \(rvv\) în loc de \((r,v,v)\)): \[ \begin{array}{l|cccccccc} \omega & vvv & rvv & vrv & vvr & rrv & rvr & vrr & rrr\\ \hline s(\omega)\rule{0pt}{2.5ex} & 0 & 1 & 1 & 1 & 2 & 2 & 2 & 3\\ \text{rezultate } (b_1,b_2,b_3) & 27 & 18 & 18 & 18 & 12 & 12 & 12 & 8\\ \PP_{0.4}(\{\omega\}) & 0.216 & 0.144 & 0.144 & 0.144 & 0.096 & 0.096 & 0.096 & 0.064 \end{array} \] Suma probabilităților este \(0.216+3\cdot0.144+3\cdot0.096+0.064=0.216+0.432+0.288+0.064=1\) (iar numărul total de rezultate, \(27+3\cdot18+3\cdot12+8=125\)).

Variabilele \(X_i\). Evenimentul \(\{X_2=1\}\) („a doua bilă este roșie”) este format din \(vrv\), \(rrv\), \(vrr\) și \(rrr\), deci \(\PP_{0.4}(X_2=1)=0.144+0.096+0.096+0.064=0.4=\theta\). Apoi \(\{X_1=1,\ X_2=1\}=\{rrv,\ rrr\}\) are probabilitatea \(0.096+0.064=0.16=0.4\cdot0.4\): evenimentele \(\{X_1=1\}\) și \(\{X_2=1\}\) sunt independente, exact cum am cerut.

Repartiția lui \(S_3\) și a lui \(M_3\). Grupând coloanele tabelului după valoarea lui \(s\) obținem \[ \begin{array}{c|cccc} k & 0 & 1 & 2 & 3\\ \hline \PP_{0.4}(S_3=k)=\PP_{0.4}(M_3=k/3)\rule{0pt}{2.5ex} & 0.216 & 0.432 & 0.288 & 0.064 \end{array} \] adică repartiția \(\Bin(3,0.4)\): de exemplu, \(\binom32(0.4)^2(0.6)=3\cdot0.096=0.288\). Media și varianța se calculează direct din tabel: \[ \begin{aligned} \E_{0.4}[S_3]&=0\cdot0.216+1\cdot0.432+2\cdot0.288+3\cdot0.064=1.2,\\ \E_{0.4}[S_3^2]&=0.432+4\cdot0.288+9\cdot0.064=2.16,\qquad \Var_{0.4}(S_3)=2.16-1.2^2=0.72, \end{aligned} \] deci \(\E_{0.4}[M_3]=\frac{1.2}{3}=0.4=\theta\) și \(\Var_{0.4}(M_3)=\frac{0.72}{9}=0.08=\frac{0.4\cdot0.6}{3}\).

Problema de statistică. Presupunem acum că știm doar că urna are \(5\) bile, deci \(\Theta=\{0,\frac15,\frac25,\frac35,\frac45,1\}\), și că am observat \(2\) bile roșii în \(3\) extrageri cu întoarcere. Tabelul următor conține \(\PP_\theta(S_3=k)=\binom3k\theta^k(1-\theta)^{3-k}\) pentru toate valorile lui \(\theta\): \[ \begin{array}{c|cccccc} & \theta=0 & \theta=0.2 & \theta=0.4 & \theta=0.6 & \theta=0.8 & \theta=1\\ \hline k=0\rule{0pt}{2.5ex} & 1 & 0.512 & 0.216 & 0.064 & 0.008 & 0\\ k=1 & 0 & 0.384 & 0.432 & 0.288 & 0.096 & 0\\ k=2 & 0 & 0.096 & 0.288 & 0.432 & 0.384 & 0\\ k=3 & 0 & 0.008 & 0.064 & 0.216 & 0.512 & 1 \end{array} \] Fiecare coloană este o repartiție (suma ei este \(1\)): este răspunsul la problema de probabilități pentru acel \(\theta\). Linia \(k=2\), citită de la stânga la dreapta, este funcția de verosimilitate a observației: valorile \(\theta=0\) și \(\theta=1\) sunt excluse de date (cu ele observația ar fi imposibilă), iar cea mai plauzibilă compoziție a urnei este „\(3\) bile roșii din \(5\)” (\(\theta=0.6\), probabilitatea \(0.432\)). O linie nu este o repartiție: suma liniei \(k=2\) este \(1.2\). Proporția observată, \(\frac23\), nici nu aparține lui \(\Theta\); dintre valorile posibile, \(0.6\) este cea mai apropiată de ea.

Rămâne să verificăm, pentru \(n\) și \(\theta\) oarecare, că obiectele definite mai sus au proprietățile dorite; reamintim că repartiția unei v.a. \(X\) sub \(\PP_\theta\) este probabilitatea \(\PP_\theta\circ X^{-1}\) (Definiția 12 din Cursul 1).

Propoziția 2 (Proprietățile modelului urnei)

Pentru orice \(\theta\in\Theta\):

  1. relația (1) definește o probabilitate pe \((\Omega,\mathcal{P}(\Omega))\);

  2. sub \(\PP_\theta\), variabilele \(X_1,\dots,X_n\) sunt independente și \(X_i\sim\Bern(\theta)\);

  3. \(S_n\sim\Bin(n,\theta)\), adică \(\PP_\theta(M_n=k/n)=\PP_\theta(S_n=k)=\binom nk\theta^k(1-\theta)^{n-k}\), \(k=0,1,\dots,n\);

  4. \(\E_\theta[M_n]=\theta\) și \(\Var_\theta(M_n)=\dfrac{\theta(1-\theta)}{n}\le\dfrac1{4n}\).

Demonstrație. Ideea demonstrației. Totul se reduce la numărarea secvențelor cu un număr dat de bile roșii și la binomul lui Newton: (i) și (iii) se obțin grupând evenimentele elementare după numărul \(s\) de bile roșii; (ii) rezultă din faptul că probabilitatea unei secvențe este, prin construcție, un produs de factori care depind fiecare de câte o singură extragere; (iv) rezultă din (ii), prin liniaritatea mediei și aditivitatea varianței pentru variabile independente.

Pasul 1 (relația (1) definește o probabilitate). Trebuie verificate cerințele din Definiția 2 din Cursul 1: valori în \([0,1]\), \(\sigma\)-aditivitate și \(\PP_\theta(\Omega)=1\).

Nenegativitatea. Cum \(\theta\in[0,1]\), avem \(\theta\ge0\) și \(1-\theta\ge0\), deci \(\PP_\theta(\{\omega\})=\theta^{s}(1-\theta)^{n-s}\ge0\) pentru orice \(\omega\) (cu convenția \(0^0=1\), necesară doar pentru \(\theta\in\{0,1\}\)); atunci \(\PP_\theta(A)=\sum_{\omega\in A}\PP_\theta(\{\omega\})\ge0\) pentru orice \(A\subseteq\Omega\), iar \(\PP_\theta(\emptyset)=0\) (sumă fără termeni).

Aditivitatea. Dacă \(A\cap B=\emptyset\), fiecare \(\omega\in A\cup B\) aparține exact uneia dintre mulțimi, deci \[ \PP_\theta(A\cup B)=\sum_{\omega\in A\cup B}\PP_\theta(\{\omega\})=\sum_{\omega\in A}\PP_\theta(\{\omega\})+\sum_{\omega\in B}\PP_\theta(\{\omega\})=\PP_\theta(A)+\PP_\theta(B), \] iar prin inducție obținem aditivitatea pentru orice număr finit de evenimente disjuncte. Aceasta este suficientă: \(\Omega\) are \(2^n\) elemente, deci într-un șir \((A_k)_{k\ge1}\) de evenimente disjuncte două câte două cel mult \(2^n\) sunt nevide (fiecare eveniment nevid conține cel puțin un element, iar elementele unor evenimente disjuncte sunt distincte); mulțimile vide au probabilitatea \(0\) și nu contribuie nici la reuniune, nici la sumă, deci \(\sigma\)-aditivitatea se reduce la aditivitatea finită.

Masa totală. Rămâne \(\PP_\theta(\Omega)=1\). Grupăm evenimentele elementare după numărul \(s\) de bile roșii: există exact \(\binom ns\) secvențe \(\omega\) cu \(s(\omega)=s\) (alegem pozițiile celor \(s\) bile roșii dintre cele \(n\) poziții), deci \[ \PP_\theta(\Omega)=\sum_{\omega\in\Omega}\theta^{s(\omega)}(1-\theta)^{n-s(\omega)} =\sum_{s=0}^n\binom ns\theta^s(1-\theta)^{n-s}=\big(\theta+(1-\theta)\big)^n=1, \] unde în ultimul pas am folosit formula binomului lui Newton, \((a+b)^n=\sum_{s=0}^n\binom nsa^sb^{n-s}\), cu \(a=\theta\) și \(b=1-\theta\). În fine, din nenegativitate și aditivitate, \(\PP_\theta(A)\le\PP_\theta(A)+\PP_\theta(\Omega\setminus A)=\PP_\theta(\Omega)=1\), deci \(\PP_\theta\) ia valori în \([0,1]\). Am obținut (i).

Pasul 2 (repartiția comună a lui \(X_1,\dots,X_n\)). Pentru \(e_1,\dots,e_n\in\{0,1\}\), evenimentul \(\{X_1=e_1,\dots,X_n=e_n\}\) conține un singur element, secvența \(\omega\) cu \(u_i=r\) exact pentru acei \(i\) cu \(e_i=1\); ea are \(s=e_1+\dots+e_n\) bile roșii, deci, din (1), \[ \PP_\theta(X_1=e_1,\dots,X_n=e_n)=\theta^{\sum_ie_i}(1-\theta)^{n-\sum_ie_i}=\prod_{i=1}^n\theta^{e_i}(1-\theta)^{1-e_i}, \tag{2}\] unde am scris \(\theta^{\sum_ie_i}=\prod_i\theta^{e_i}\) și \((1-\theta)^{n-\sum_ie_i}=(1-\theta)^{\sum_i(1-e_i)}=\prod_i(1-\theta)^{1-e_i}\).

Pasul 3 (marginalele și independența). Fixăm \(i\) și \(e_i\in\{0,1\}\). Evenimentul \(\{X_i=e_i\}\) este reuniunea disjunctă a evenimentelor \(\{X_1=e_1,\dots,X_n=e_n\}\) după toate valorile posibile ale celorlalte variabile, \(e_j\in\{0,1\}\), \(j\ne i\); din aditivitate și din (2), \[ \begin{aligned} \PP_\theta(X_i=e_i)&=\sum_{e_j\in\{0,1\},\ j\ne i}\ \prod_{j=1}^n\theta^{e_j}(1-\theta)^{1-e_j} =\theta^{e_i}(1-\theta)^{1-e_i}\prod_{j\ne i}\Big(\sum_{e_j\in\{0,1\}}\theta^{e_j}(1-\theta)^{1-e_j}\Big)\\ &=\theta^{e_i}(1-\theta)^{1-e_i}\prod_{j\ne i}\big((1-\theta)+\theta\big)=\theta^{e_i}(1-\theta)^{1-e_i}. \end{aligned} \] În al doilea pas am folosit distributivitatea: o sumă, după mai mulți indici, a unui produs de factori care depind fiecare de un singur indice este produsul sumelor, iar factorul cu indicele \(i\), care nu este sumat, iese în față. Așadar \(\PP_\theta(X_i=1)=\theta\) și \(\PP_\theta(X_i=0)=1-\theta\), adică \(X_i\sim\Bern(\theta)\). Relația (2) spune atunci că funcția de masă comună a vectorului (discret) \((X_1,\dots,X_n)\) este produsul funcțiilor de masă marginale, ceea ce, din criteriul de factorizare (Propoziția 38 din Cursul 1), este echivalent cu independența. Am obținut (ii) — exact cerințele din care am pornit.

Pasul 4 (repartiția lui \(S_n\)). Pentru \(k\in\{0,1,\dots,n\}\), evenimentul \(\{S_n=k\}\) este format din cele \(\binom nk\) secvențe cu exact \(k\) bile roșii, fiecare de probabilitate \(\theta^k(1-\theta)^{n-k}\) (din (1)); sumând probabilitățile acestor evenimente elementare obținem \(\PP_\theta(S_n=k)=\binom nk\theta^k(1-\theta)^{n-k}\). Cum \(M_n=S_n/n\), avem \(\{M_n=k/n\}=\{S_n=k\}\), deci aceeași formulă dă repartiția lui \(M_n\). Am obținut (iii).

Pasul 5 (media și varianța). Din definiția mediei unei v.a. discrete, \(\E_\theta[X_i]=1\cdot\theta+0\cdot(1-\theta)=\theta\), iar din liniaritatea mediei (Propoziția 23 din Cursul 1) \[ \E_\theta[M_n]=\frac1n\sum_{i=1}^n\E_\theta[X_i]=\frac1n\cdot n\theta=\theta . \] Cum \(X_i\) ia doar valorile \(0\) și \(1\), \(X_i^2=X_i\), deci \(\Var_\theta(X_i)=\E_\theta[X_i^2]-\big(\E_\theta[X_i]\big)^2=\theta-\theta^2=\theta(1-\theta)\) (Propoziția 25 din Cursul 1). Din Pasul 3 variabilele sunt independente, deci necorelate, și varianța sumei lor este suma varianțelor (Propoziția 42 din Cursul 1); împreună cu \(\Var(aY)=a^2\Var(Y)\) (Propoziția 25 din Cursul 1) pentru \(a=1/n\), \[ \Var_\theta(M_n)=\frac1{n^2}\Var_\theta\Big(\sum_{i=1}^nX_i\Big)=\frac1{n^2}\sum_{i=1}^n\Var_\theta(X_i)=\frac{n\,\theta(1-\theta)}{n^2}=\frac{\theta(1-\theta)}n . \] În fine, completând pătratul, \(\theta(1-\theta)=\theta-\theta^2=\frac14-\big(\theta^2-\theta+\frac14\big)=\frac14-\big(\theta-\frac12\big)^2\le\frac14\), cu egalitate dacă și numai dacă \(\theta=\frac12\); împărțind la \(n\) obținem \(\Var_\theta(M_n)\le\frac1{4n}\), adică (iv).■

Observație

Dacă extragerile se fac fără întoarcere dintr-o urnă cu \(N\) bile, dintre care \(K=N\theta\) roșii, fiecare \(X_i\) are încă repartiția \(\Bern(\theta)\) (din simetrie, a \(i\)-a bilă extrasă este oricare dintre cele \(N\) cu aceeași probabilitate), dar variabilele nu mai sunt independente: dacă prima bilă extrasă este roșie, în urnă rămân \(N-1\) bile, dintre care \(K-1\) roșii, deci \(\PP(X_2=1\mid X_1=1)=\frac{K-1}{N-1}\), iar \(\frac{K-1}{N-1}=\frac KN\) ar însemna \(N(K-1)=K(N-1)\), adică \(K=N\); pentru \(0<K<N\) avem deci \(\PP(X_2=1\mid X_1=1)\ne\PP(X_2=1)\). Numărul \(S_n\) de bile roșii are atunci repartiția hipergeometrică \(\HGeom(N,K,n)\), cu aceeași medie \(n\theta\), dar cu varianța mai mică \(n\theta(1-\theta)\frac{N-n}{N-1}\). Aceste afirmații sunt demonstrate în Cursul 3 (Teorema 5 din Cursul 3 și Exemplul 4 din Cursul 3), unde este studiată selecția fără revenire; un caz particular este calculat direct în Exercițiul 1, care arată și că, pentru \(N\) mare în raport cu \(n\), diferența dintre cele două scheme este neglijabilă.

Proprietatea (iv) este un prim argument că proporția observată \(M_n\) este o regulă rezonabilă de aproximare a lui \(\theta\): media ei este chiar parametrul necunoscut, oricare ar fi \(\theta\), iar varianța tinde la \(0\) când \(n\to\infty\), uniform în \(\theta\); abaterea standard a lui \(M_n\) este cel mult \(1/(2\sqrt n)\). Tripletul \(\xi\) pe care l-am ales „modelează bine” experimentul: parametrul abstract \(\theta\) are exact interpretarea dorită. Să vedem cât de concentrată este repartiția lui \(M_n\) în jurul lui \(\theta\) pentru \(\theta=0.25\).

Pentru \(n=20\), condiția \(|k/20-0.25|\le0.05\) înseamnă \(0.2\le k/20\le0.3\), adică \(k\in\{4,5,6\}\), deci, din (iii), \[ \PP_{0.25}\big(|M_{20}-0.25|\le0.05\big)=\sum_{k=4}^{6}\binom{20}{k}(0.25)^k(0.75)^{20-k}\approx0.1897+0.2023+0.1686=0.5606; \] pentru \(n=200\), condiția devine \(40\le k\le60\) și suma corespunzătoare este \(\approx0.9141\). Așadar, pentru \(n=20\), proporția observată se află la cel mult \(0.05\) de \(\theta\) doar cu probabilitatea de aproximativ \(0.56\); pentru \(n=200\) această probabilitate crește la aproximativ \(0.91\), deși abaterea standard a scăzut doar de \(\sqrt{10}\approx3.16\) ori (de la \(0.097\) la \(0.031\)). Figura 2 ilustrează această concentrare.

Arată codul R
grafic_Mn <- function(n, theta = 0.25) {
  k <- 0:n     # valorile lui S_n; M_n = k / n
  # toleranța 1e-12 păstrează capetele, în ciuda erorilor de rotunjire
  d <- data.frame(m = k / n, p = dbinom(k, n, theta),
                  aproape = abs(k / n - theta) <= 0.05 + 1e-12)
  ggplot(d, aes(m, p, colour = aproape)) +
    geom_segment(aes(xend = m, yend = 0),
                 linewidth = if (n > 50) 0.5 else 1.1) +
    geom_vline(xintercept = theta, linetype = 2, colour = culori[["gri"]]) +
    scale_colour_manual(values = c(`FALSE` = culori[["albastru"]],
                                   `TRUE` = culori[["rosu"]]), guide = "none") +
    coord_cartesian(xlim = c(0, 0.7)) +
    labs(title = paste0("n = ", n), x = expression(M[n] == k/n),
         y = "probabilitate")
}
grafic_Mn(20) + grafic_Mn(200)
Figura 2: Funcția de masă a proporției observate \(M_n\) sub \(\theta=0.25\), pentru \(n=20\) (stânga) și \(n=200\) (dreapta). Barele roșii corespund valorilor cu \(|M_n-0.25|\le0.05\); linia întreruptă marchează \(\theta\).

3.2 Modele parametrice și neparametrice

Presupunem că datele \(x_1,\dots,x_n\) provin dintr-o repartiție \(F\). Dacă admitem că \(F\) aparține unei familii \(\{F_\theta:\theta\in\Theta\}\) indexate de un număr finit de parametri reali, vorbim despre statistică parametrică. Dacă nu avem (aproape) nicio informație despre \(F\) — de exemplu, știm doar că \(F\) este continuă sau că are medie finită —, familia de repartiții posibile nu mai poate fi indexată de un parametru finit-dimensional și vorbim despre statistică neparametrică.

Definiția 3 (Tipuri de modele)

Modelul \(\{\PP_\theta:\theta\in\Theta\}\) se numește parametric dacă \(\Theta\subseteq\R^d\) pentru un \(d\in\N^*\) și neparametric în caz contrar (când \(\Theta\) este o mulțime de funcții, de dimensiune infinită).

Exemplul 7 (Modele parametrice și neparametrice)

Câteva modele uzuale pentru un eșantion de observații reale:

  • \(\{\Bern(p):p\in[0,1]\}\) (sondajul din Exemplul 3), \(\{\Pois(\lambda):\lambda>0\}\) (numărul de apeluri la un call-center într-o oră), \(\{\Exp(\lambda):\lambda>0\}\) (timpi de funcționare, Exemplul 4);
  • \(\{\Norm(\mu,\sigma^2):\mu\in\R,\ \sigma^2>0\}\), cu \(\Theta=\R\times(0,\infty)\subseteq\R^2\) (erori de măsurare); dacă una dintre componente este cunoscută (de exemplu \(\sigma^2=\sigma_0^2\), precizia aparatului de măsură), modelul devine unidimensional, \(\Theta=\R\);
  • \(\{\Unif(0,\theta):\theta>0\}\), un model în care chiar suportul repartiției depinde de parametru: o observație \(x=3.7\) exclude imediat toate valorile \(\theta<3.7\), fenomen care nu apare în modelele cu suport fix;
  • \(\{F:\ F\) funcție de repartiție continuă pe \(\R\}\) sau \(\{F:\ \int x^2\dd F(x)<\infty\}\): modele neparametrice, în care „parametrul” este chiar funcția de repartiție \(F\); ele sunt folosite, de exemplu, pentru funcția de repartiție empirică (Cursul 6).

Mulțimea funcțiilor de repartiție continue nu poate fi descrisă de un număr finit de numere reale: de exemplu, orice amestec \(\sum_{k=1}^mw_k\,\Norm(k,1)\), cu ponderi \(w_k\ge0\) de sumă \(1\), aparține familiei, oricât de mare ar fi \(m\), deci familia conține submodele de orice dimensiune finită. Între cele două tipuri se află modelele semiparametrice, în care parametrul are o componentă finit-dimensională, de interes, și una de dimensiune infinită; un exemplu este modelul de locație \(X_i=\mu+\varepsilon_i\), cu erori \(\varepsilon_i\) i.i.d. de densitate necunoscută, simetrică față de \(0\) (Knight 2000, Ex. 4.2). În acest curs lucrăm aproape exclusiv cu modele parametrice.

3.3 Modele dominate

În exemplele de până acum repartițiile \(\PP_\theta\) erau fie discrete (descrise de o funcție de masă), fie continue (descrise de o densitate). Pentru a lucra uniform cu ambele situații descriem fiecare probabilitate \(\PP_\theta\) printr-o densitate în raport cu o aceeași măsură de referință. Reamintim că o măsură pe \((\mathcal{X},\A)\) este o funcție \(\sigma\)-aditivă \(\nu:\A\to[0,\infty]\) cu \(\nu(\emptyset)=0\); ea este \(\sigma\)-finită dacă \(\mathcal{X}=\bigcup_{m\ge1}E_m\) cu \(E_m\in\A\) și \(\nu(E_m)<\infty\). Cele două exemple de care avem nevoie sunt măsura Lebesgue pe \(\R^d\) (\(E_m=[-m,m]^d\)) și măsura de numărare \(\nu(A)=\#A\) pe o mulțime cel mult numărabilă (luăm \(E_m\) mulțimi finite).

Definiția 4 (Model dominat)

Modelul \(\{\PP_\theta:\theta\in\Theta\}\) pe \((\mathcal{X},\A)\) se numește dominat dacă există o măsură \(\sigma\)-finită \(\nu\) pe \((\mathcal{X},\A)\) astfel încât \(\PP_\theta\ll\nu\) (adică \(\nu(A)=0\Rightarrow\PP_\theta(A)=0\)) pentru orice \(\theta\in\Theta\). Măsura \(\nu\) se numește măsură dominantă. Din teorema Radon–Nikodym (Billingsley 1995, sec. 32), fiecare \(\PP_\theta\) are atunci o densitate \(f_\theta=\frac{\dd\PP_\theta}{\dd\nu}\ge0\): \[ \PP_\theta(A)=\int_Af_\theta\dd\nu,\qquad \E_\theta[h(X)]=\int_{\mathcal X}h\,f_\theta\dd\nu . \]

Două măsuri dominante ne vor servi aproape mereu. Pentru măsura de numărare pe o mulțime cel mult numărabilă \(\mathcal{X}\), integrala este o sumă, \(\int_Af\dd\nu=\sum_{x\in A}f(x)\), deci \(f_\theta(x)=\PP_\theta(\{x\})=\PP_\theta(X=x)\) este funcția de masă. Pentru măsura Lebesgue pe \(\R^d\), \(f_\theta\) este densitatea obișnuită. Avantajul noțiunii este că formulele (verosimilitate, informație Fisher, teste) se scriu o singură dată pentru ambele cazuri, cu \(\int\dots\dd\nu\).

Exemplul 8 (Modele dominate)

Identificăm măsura dominantă în modelele uzuale.

  1. Modelele \(\{\Bern(\theta)\}\), \(\{\Bin(n,\theta)\}\), \(\{\Pois(\lambda)\}\), \(\{\Geom(p)\}\) sunt dominate de măsura de numărare \(\nu=\sum_{k\in\N}\delta_k\) pe \(\N\) (unde \(\delta_k(A)=1\) dacă \(k\in A\) și \(0\) altfel): dacă \(\nu(A)=0\), atunci \(A\cap\N=\emptyset\), deci \(\PP_\theta(A)=\sum_{k\in A\cap\N}\PP_\theta(X=k)=0\).

  2. Modelele \(\{\Exp(\lambda)\}\), \(\{\Norm(\mu,\sigma^2)\}\), \(\{\Unif(0,\theta)\}\) sunt dominate de măsura Lebesgue: fiecare \(\PP_\theta\) are o densitate, deci \(\PP_\theta(A)=\int_Af_\theta(x)\dd x=0\) dacă \(A\) are măsura Lebesgue nulă.

  3. Modelul urnei din Secțiunea 3.1 este dominat de măsura de numărare pe mulțimea finită \(\Omega_n=\{r,v\}^n\): singura mulțime de măsură nulă este mulțimea vidă, iar densitatea lui \(\PP_\theta\) este chiar \(f_\theta(\omega)=\PP_\theta(\{\omega\})=\theta^{s(\omega)}(1-\theta)^{n-s(\omega)}\) din relația (1).

Există și modele dominate care nu sunt nici discrete, nici continue: dacă un timp de funcționare \(X\sim\Exp(\lambda)\) este observat doar până la un moment \(c\) (date cenzurate), observația \(\min(X,c)\) are o masă pozitivă în punctul \(c\), iar modelul este dominat de suma dintre măsura Lebesgue pe \((0,c)\) și masa Dirac \(\delta_c\). Nu orice model este însă dominat: familia \(\{\delta_\theta:\theta\in\R\}\) a maselor Dirac nu este, deoarece o măsură \(\sigma\)-finită nu poate da masă pozitivă fiecărui punct al unei mulțimi nenumărabile (Guyader 2025, sec. 1.2). Toate modelele din acest curs vor fi dominate.

3.4 Identificabilitate

Un model statistic are sens doar dacă valori diferite ale parametrului produc repartiții diferite ale datelor; altfel, oricât de multe date am avea, nu am putea distinge între două valori ale lui \(\theta\).

Definiția 5 (Model identificabil)

Modelul \(\big(\Omega,\F,\{\PP_\theta\}_{\theta\in\Theta}\big)\) se numește identificabil dacă aplicația \(\theta\mapsto\PP_\theta\) este injectivă: \(\theta_1\neq\theta_2\ \Rightarrow\ \PP_{\theta_1}\neq\PP_{\theta_2}\).

Definiția se citește astfel: parametrul poate fi regăsit din repartiția datelor. Cel mai simplu exemplu este modelul \(\{\Bern(\theta):\theta\in[0,1]\}\): cum \(\PP_\theta(X=1)=\theta\), două valori diferite ale lui \(\theta\) dau probabilități diferite evenimentului \(\{X=1\}\), deci repartiții diferite — modelul este identificabil.

Cum verificăm, în practică, că \(\PP_{\theta_1}\neq\PP_{\theta_2}\)? Este suficient să găsim un singur eveniment (sau o singură medie) care diferă.

Lema 6 (Un criteriu de identificabilitate)

Fie \(\{\PP_\theta:\theta\in\Theta\}\) un model statistic. Dacă există o aplicație \(\Psi\), definită pe mulțimea probabilităților pe \((\Omega,\F)\) (de exemplu \(\Psi(\PP)=\PP(A)\) pentru un eveniment fixat \(A\), media \(\int x\dd\PP\) sau o cuantilă), astfel încât \(\theta\mapsto\Psi(\PP_\theta)\) este injectivă pe \(\Theta\), atunci modelul este identificabil. Reciproc, modelul nu este identificabil dacă și numai dacă există \(\theta_1\neq\theta_2\) cu \(\PP_{\theta_1}(A)=\PP_{\theta_2}(A)\) pentru orice \(A\in\F\).

Demonstrație. Fie \(\theta_1\ne\theta_2\). Din injectivitatea lui \(\theta\mapsto\Psi(\PP_\theta)\), \(\Psi(\PP_{\theta_1})\ne\Psi(\PP_{\theta_2})\). Dacă am avea \(\PP_{\theta_1}=\PP_{\theta_2}\), atunci, \(\Psi\) fiind o funcție (aceeași intrare dă aceeași ieșire), am avea \(\Psi(\PP_{\theta_1})=\Psi(\PP_{\theta_2})\), contradicție. Deci \(\PP_{\theta_1}\ne\PP_{\theta_2}\). A doua afirmație este negația definiției: două probabilități pe \(\F\) sunt egale exact când coincid pe orice eveniment.

Discuție. Criteriul este doar suficient: dacă \(\Psi\) este prost aleasă (de exemplu media, într-un model în care toate repartițiile au media \(0\), cum este \(\{\Norm(0,\sigma^2):\sigma^2>0\}\)), injectivitatea poate eșua deși modelul este identificabil (aici \(\Psi(\PP)=\int x^2\dd\PP=\sigma^2\) funcționează). Trebuie aleasă o mărime a repartiției sensibilă la parametru.■

Pentru a demonstra identificabilitatea căutăm deci o mărime a repartiției (o medie, o probabilitate, o cuantilă, f.g.m.) care depinde injectiv de \(\theta\); pentru a demonstra neidentificabilitatea exhibăm două valori distincte ale parametrului care produc aceeași repartiție.

Exemplul 9 (Identificabilitate: exemple și contraexemple)

Modelele (a), (c) și (e) nu sunt identificabile (fără o restricție a lui \(\Theta\)); modelele (b) și (d) sunt.

  1. Dacă \(X\sim\Norm(\mu_1+\mu_2,1)\) cu \(\theta=(\mu_1,\mu_2)\in\R^2\), atunci toți parametrii cu aceeași sumă \(\mu_1+\mu_2\) dau aceeași repartiție: de exemplu \(\theta_1=(0,1)\) și \(\theta_2=(1,0)\) sunt diferiți, dar \(\PP_{\theta_1}=\PP_{\theta_2}=\Norm(1,1)\). Modelul nu este identificabil. Doar suma \(\mu_1+\mu_2\) poate fi estimată din date; reparametrizând prin \(\eta=\mu_1+\mu_2\in\R\) obținem modelul identificabil \(\{\Norm(\eta,1):\eta\in\R\}\) (media \(\Psi(\PP_\eta)=\eta\) este injectivă).

  2. În modelul \(X\sim\Norm(\mu,\sigma^2)\), \(\theta=(\mu,\sigma^2)\in\R\times(0,\infty)\), luăm \(\Psi(\PP)=\big(\int x\dd\PP,\ \int x^2\dd\PP-(\int x\dd\PP)^2\big)\), perechea formată din media și varianța repartiției. Repartiția \(\Norm(\mu,\sigma^2)\) are media \(\mu\) și varianța \(\sigma^2\) (Exemplul 16 din Cursul 1), deci \(\Psi(\PP_\theta)=(\mu,\sigma^2)=\theta\): aplicația \(\theta\mapsto\Psi(\PP_\theta)\) este identitatea, deci injectivă, iar din Lema 6 modelul este identificabil.

  3. Amestecuri cu etichete interschimbabile. Fie \(\PP_\theta=p\,\Norm(\mu_1,1)+(1-p)\,\Norm(\mu_2,1)\), cu \(\theta=(p,\mu_1,\mu_2)\in[0,1]\times\R^2\) (o populație formată din două subpopulații, în proporțiile \(p\) și \(1-p\)); dacă \(\phi\) este densitatea repartiției \(\Norm(0,1)\), atunci \(\PP_\theta\) are densitatea \(f_{(p,\mu_1,\mu_2)}(x)=p\,\phi(x-\mu_1)+(1-p)\,\phi(x-\mu_2)\). Parametrii \((p,\mu_1,\mu_2)\) și \((1-p,\mu_2,\mu_1)\) dau aceeași repartiție (am schimbat doar numele subpopulațiilor): \[ f_{(1-p,\mu_2,\mu_1)}(x)=(1-p)\,\phi(x-\mu_2)+\big(1-(1-p)\big)\,\phi(x-\mu_1)=f_{(p,\mu_1,\mu_2)}(x), \] iar ei sunt distincți de îndată ce \(p\ne\frac12\) sau \(\mu_1\ne\mu_2\). Mai mult, pentru \(p=1\) densitatea este \(\phi(x-\mu_1)\), oricare ar fi \(\mu_2\): valoarea lui \(\mu_2\) nu contează deloc. Modelul nu este identificabil; restricția uzuală, care elimină aceste ambiguități, este \(p\in(0,1)\) și \(\mu_1<\mu_2\).

  4. Modelul urnei din Secțiunea 3.1 este identificabil (Lema 6 cu \(\Psi(\PP)=\PP(\{\omega_r\})\)): pentru \(\omega_r=(r,r,\dots,r)\) avem \(\PP_\theta(\{\omega_r\})=\theta^n\), iar funcția \(\theta\mapsto\theta^n\) este strict crescătoare pe \([0,1]\); deci \(\theta_1\ne\theta_2\) implică \(\PP_{\theta_1}(\{\omega_r\})\ne\PP_{\theta_2}(\{\omega_r\})\).

  5. Date reduse. Presupunem că în modelul normal de la (b) nu observăm \(X\), ci doar semnul lui, \(Y=\Ind_{\{X>0\}}\). Atunci \(Y\sim\Bern(\pi)\), cu \[ \pi=\PP_{\mu,\sigma}(X>0)=\PP\Big(\frac{X-\mu}{\sigma}>-\frac\mu\sigma\Big)=1-\Phi\Big(-\frac\mu\sigma\Big)=\Phi\Big(\frac\mu\sigma\Big), \] unde am standardizat (\(Z=(X-\mu)/\sigma\sim\Norm(0,1)\)) și am folosit simetria \(1-\Phi(-z)=\Phi(z)\). Repartiția lui \(Y\) depinde de \((\mu,\sigma)\) doar prin raportul \(\mu/\sigma\): de exemplu \((\mu,\sigma)=(1,1)\) și \((\mu,\sigma)=(2,2)\) sunt parametri diferiți, dar dau aceeași repartiție \(\Bern(\Phi(1))=\Bern(0.8413)\). Modelul lui \(Y\) nu este identificabil; identificabil este doar parametrul \(\eta=\mu/\sigma\in\R\), deoarece \(\eta\mapsto\Phi(\eta)\) este strict crescătoare. O reducere a datelor (aici, înregistrarea doar a semnului lui \(X\)) poate deci distruge identificabilitatea.

Restricțiile care fac un model identificabil sunt frecvente în practică; exemplul următor adună două astfel de situații și un model cu date cenzurate.

Exemplul 10 (Identificabilitate după o restricție a spațiului parametrilor)
  1. Dacă \(X\sim\Bern(\theta^2)\) cu \(\theta\in[-1,1]\), atunci \(\theta\) și \(-\theta\) dau aceeași repartiție, \(\Bern(\theta^2)\); pentru \(\theta\neq0\) acestea sunt două valori distincte ale parametrului (de exemplu, \(\theta=0.5\) și \(\theta=-0.5\) dau amândouă \(\Bern(0.25)\)). Restrângând spațiul parametrilor la \(\Theta=[0,1]\), modelul devine identificabil: funcția \(\theta\mapsto\theta^2\) este strict crescătoare pe \([0,1]\), deci \(\theta_1\ne\theta_2\) implică \(\PP_{\theta_1}(X=1)=\theta_1^2\ne\theta_2^2=\PP_{\theta_2}(X=1)\).

  2. Parametrizare cu semn. Modelul \(\{\Norm(\mu,\sigma^2)\}\) parametrizat prin \(\theta=(\mu,\sigma)\in\R\times(\R\setminus\{0\})\) nu este identificabil, deoarece \((\mu,\sigma)\) și \((\mu,-\sigma)\) dau aceeași repartiție (densitatea depinde de \(\sigma\) numai prin \(\sigma^2\); de exemplu, \((0,1)\) și \((0,-1)\) dau amândouă \(\Norm(0,1)\)). Restricția \(\sigma>0\) rezolvă problema: repartiția determină \((\mu,\sigma^2)\) (Exemplul 9(b)), iar \(\sigma\mapsto\sigma^2\) este injectivă pe \((0,\infty)\).

  3. Timpi cenzurați. Un timp de funcționare \(X\sim\Exp(\lambda)\), \(\lambda>0\), este urmărit doar până la un moment cunoscut \(c>0\): se observă \(Y=\min(X,c)\) (modelul descris după Exemplul 8). Repartiția lui \(Y\) a fost determinată în Exemplul 13 din Cursul 1: pentru \(0\le y<c\), \(\PP_\lambda(Y\le y)=\PP_\lambda(X\le y)=1-e^{-\lambda y}\), iar punctul \(c\) este un atom, cu \(\PP_\lambda(Y=c)=\PP_\lambda(X\ge c)=e^{-\lambda c}\). Funcția \(\lambda\mapsto e^{-\lambda c}\) este strict descrescătoare, deci modelul este identificabil (Lema 6 cu \(\Psi(\PP)=\PP(\{c\})\)); de exemplu, pentru \(c=2\), \(\PP_{0.5}(Y=2)=e^{-1}\approx0.3679\), iar \(\PP_{1}(Y=2)=e^{-2}\approx0.1353\). Spre deosebire de reducerea din Exemplul 9(e), cenzurarea pierde informație, dar nu atât de multă încât parametrul să nu mai poată fi determinat.

Încheiem cu două modele scrise și verificate de la un capăt la altul, unul identificabil și unul neidentificabil.

Exemplul 11 (Două modele complete: unul identificabil, unul neidentificabil)
  1. Un model identificabil cu doi parametri. Un autobuz sosește în stație la un moment aleator, uniform repartizat într-un interval \([a,b]\) ale cărui capete nu le cunoaștem; observăm momentul sosirii, \(X\). Modelul este \[ \Omega=\R,\qquad \F=\B(\R),\qquad \Theta=\{(a,b)\in\R^2:\ a<b\},\qquad \PP_{(a,b)}=\Unif(a,b), \] unde \(\Unif(a,b)\) are densitatea \(f_{(a,b)}(x)=\frac{1}{b-a}\Ind_{[a,b]}(x)\); el este parametric (\(d=2\)) și dominat de măsura Lebesgue.

    Verificarea identificabilității. Aplicăm Lema 6, luând drept \(\Psi(\PP)\) perechea formată din media și varianța repartiției. Pentru \(\Unif(a,b)\) (Exemplul 16 din Cursul 1), \[ \Psi\big(\PP_{(a,b)}\big)=(m,v)=\Big(\frac{a+b}{2},\ \frac{(b-a)^2}{12}\Big). \] Arătăm că aplicația \((a,b)\mapsto(m,v)\) este injectivă pe \(\Theta\), rezolvând sistemul în necunoscutele \(a\) și \(b\). Din a doua ecuație, \((b-a)^2=12v\); cum \(b-a>0\) (aici intervine restricția \(a<b\)), \(b-a=\sqrt{12v}=2\sqrt{3v}\). Împreună cu \(a+b=2m\) obținem \[ a=m-\sqrt{3v},\qquad b=m+\sqrt{3v} . \] Perechea \((m,v)\) determină deci în mod unic perechea \((a,b)\): doi parametri diferiți nu pot avea și aceeași medie, și aceeași varianță, deci nu pot da aceeași repartiție. Modelul este identificabil. De exemplu, singura repartiție uniformă cu media \(3\) și varianța \(\frac13\) este \(\Unif(2,4)\) (aici \(\sqrt{3v}=1\)). Media singură nu ar fi fost suficientă: \(\Unif(2,4)\) și \(\Unif(1,5)\) au aceeași medie, deci \(\Psi(\PP)=\int x\dd\PP\) nu este injectivă pe \(\Theta\).

  2. Un model neidentificabil: răspunsuri randomizate. Vrem să aflăm proporția \(p\) a studenților care au copiat cel puțin o dată la un examen. Pentru ca nimeni să nu fie nevoit să se declare, fiecare dintre cei \(n\) studenți intervievați aruncă, fără martori, o monedă care cade cu stema în sus cu probabilitatea \(q\): dacă apare stema, răspunde sincer la întrebarea „ai copiat?”; altfel, răspunde invers. Notăm \(Y_i=1\) dacă studentul \(i\) răspunde „da” și \(Y_i=0\) altfel. Din formula probabilității totale (Teorema 7 din Cursul 1), după cum studentul a copiat sau nu, \(\PP(Y_i=1)=pq+(1-p)(1-q)=:\pi(p,q)\), iar observațiile sunt independente (studenții sunt aleși ca în Exemplul 3, iar monedele sunt aruncate independent), cu repartiția \(\Bern(\pi(p,q))\). Modelul este cel al urnei (Secțiunea 3.1), cu \(\pi=\pi(p,q)\) în locul lui \(\theta\): \[ \Omega=\{0,1\}^n,\qquad \F=\mathcal P(\Omega),\qquad \Theta=[0,1]^2,\qquad \PP_{(p,q)}(\{\omega\})=\pi^{s}(1-\pi)^{n-s}, \] unde \(s=s(\omega)\) este numărul de răspunsuri „da”.

    Verificarea neidentificabilității. Probabilitatea fiecărui eveniment elementar — deci a oricărui eveniment — depinde de \((p,q)\) numai prin \(\pi(p,q)\). Parametrii \((0.2,\,0.9)\) și \((0.8,\,0.1)\) sunt distincți, dar \(\pi(0.2,\,0.9)=0.18+0.08=0.26=\pi(0.8,\,0.1)\), deci dau aceeași probabilitate pe \(\Omega\), \(\PP(\{\omega\})=0.26^s\,0.74^{n-s}\): modelul nu este identificabil. Din răspunsuri nu putem deosebi situația „\(20\%\) au copiat, \(90\%\) dintre răspunsuri sunt sincere” de situația „\(80\%\) au copiat, \(90\%\) dintre răspunsuri sunt inversate”.

    Ce se poate salva. Probabilitatea \(\eta=\pi(p,q)\in[0,1]\) a unui răspuns „da” este identificabilă: este parametrul modelului urnei (Exemplul 9(d)). Dacă moneda este cunoscută, \(q=q_0\ne\frac12\), atunci \(p\mapsto\pi(p,q_0)=(1-q_0)+(2q_0-1)\,p\) este strict monotonă: modelul devine identificabil, cu \(p=\frac{\eta-(1-q_0)}{2q_0-1}\). Pentru o monedă echilibrată, în schimb, \(\pi(p,\frac12)=\frac12\) oricare ar fi \(p\): răspunsurile nu mai spun nimic despre \(p\).

De ce insistăm asupra identificabilității? Fără ea, niciun șir de estimatori nu poate „învăța” parametrul, oricât de multe date am avea. Anticipăm aici noțiunea de consistență (Cursul 7): un șir de statistici \(T_n=h_n(X_1,\dots,X_n)\) este consistent pentru \(\theta\) dacă \(\PP_\theta(\|T_n-\theta\|>\varepsilon)\to0\) pentru orice \(\varepsilon>0\) și orice \(\theta\in\Theta\).

Propoziția 7 (Fără identificabilitate nu există estimatori consistenți)

Fie \(X_1,X_2,\dots\) observații i.i.d. cu repartiția \(Q_\theta\), \(\theta\in\Theta\subseteq\R^d\), și presupunem că există \(\theta_1\ne\theta_2\) cu \(Q_{\theta_1}=Q_{\theta_2}\). Atunci:

  1. pentru orice \(n\) și orice funcție boreliană \(h_n:\R^n\to\R^d\), statistica \(T_n=h_n(X_1,\dots,X_n)\) are aceeași repartiție sub \(\theta_1\) și sub \(\theta_2\);

  2. nu există niciun șir de statistici \((T_n)\) consistent pentru \(\theta\).

Ideea este simplă: sub \(\theta_1\) și sub \(\theta_2\) vectorul \((X_1,\dots,X_n)\) are aceeași repartiție, deci orice funcție a lui are aceeași repartiție sub cele două valori; un șir consistent ar trebui atunci să se concentreze simultan în jurul lui \(\theta_1\) și în jurul lui \(\theta_2\), ceea ce este imposibil pentru două puncte distincte (vezi și (Vaart 1998, cap. 5)). Un parametru neidentificabil nu poate fi deci estimat din nicio cantitate de date; în tot restul cursului vom lucra cu modele identificabile.

4 Eșantion, spațiu de selecție, statistică

Scopul statisticii este ca, plecând de la un eșantion, să obținem cât mai multe informații despre populația din care acesta provine. În această secțiune formalizăm noțiunea de eșantion, descriem modelul statistic pe care îl induce și definim statisticile — funcțiile de eșantion pe care le vom folosi pentru a răspunde la întrebările statistice.

4.1 Eșantion

Modelul cel mai simplu și cel mai important este cel al unor observații repetate, efectuate independent și în aceleași condiții: \(n\) extrageri cu întoarcere dintr-o urnă, \(n\) becuri testate, \(n\) sticle cântărite.

Definiția 8 (Eșantion aleator de volum \(n\) dintr-o populație)

Fie \((\Omega,\F,\PP)\) un câmp de probabilitate și \(Q\) o măsură de probabilitate pe \(\big(\R,\B(\R)\big)\). Numim eșantion de volum \(n\) din populația \(Q\) un șir de variabile aleatoare \(X_1,X_2,\dots,X_n\) definite pe \((\Omega,\F,\PP)\) care sunt (i) independente și (ii) identic repartizate, cu repartiția comună \(Q\): \(\PP\circ X_i^{-1}=Q\) pentru orice \(i=1,\dots,n\).

Folosim următoarele notații prescurtate: \[ \begin{aligned} X_1,X_2,\dots,X_n&\sim Q\\ &\sim F,\quad\text{unde } F \text{ este funcția de repartiție asociată lui } Q,\\ &\sim f,\quad\text{unde } f \text{ este densitatea lui } F \text{ (dacă } F \text{ admite densitate)}, \end{aligned} \] iar atunci când vrem să subliniem ipotezele scriem \(X_1,\dots,X_n\overset{\iid}{\sim}Q\); pentru o populație discretă, \(f\) este funcția de masă. Într-un model parametric scriem \(X_1,\dots,X_n\sim F_\theta\) sau \(f_\theta\); repartiția \(Q=Q_\theta\) se numește populația, iar \(\theta\) parametrul populației. Valorile numerice \(x_1=X_1(\omega),\dots,x_n=X_n(\omega)\) efectiv observate formează realizarea eșantionului (datele); convenția de a nota variabilele aleatoare cu majuscule și valorile observate cu litere mici va fi păstrată în tot cursul.

Distincția dintre eșantion (variabile aleatoare) și realizare (numere) este esențială. În Exemplul 4, \(0.35,1.92,\dots,1.40\) este o realizare; eșantionul \(X_1,\dots,X_{10}\) descrie toate realizările posibile, cu probabilitățile lor. Proprietățile procedurilor statistice sunt proprietăți ale eșantionului, nu ale realizării observate.

Exemplul 12 (Ce este și ce nu este un eșantion)

Definiția cere două lucruri — independența și aceeași repartiție —, iar fiecare dintre ele poate lipsi fără celălalt.

  1. Un eșantion. Din urna Exemplului 6 (\(5\) bile, dintre care \(2\) roșii) extragem \(n\) bile cu întoarcere și notăm \(X_i=1\) dacă a \(i\)-a bilă este roșie și \(X_i=0\) altfel. Variabilele \(X_1,\dots,X_n\) sunt independente și au toate repartiția \(\Bern(0.4)\) (Propoziția 2): ele formează un eșantion de volum \(n\) din populația \(Q=\Bern(0.4)\).

  2. Aceeași repartiție, dar fără independență. Extragem acum două bile fără întoarcere. Prima este roșie cu probabilitatea \(\frac25\). Pentru a doua aplicăm formula probabilității totale (Teorema 7 din Cursul 1), după culoarea primei bile: dacă prima a fost roșie, rămân \(4\) bile, dintre care una roșie; dacă a fost verde, rămân \(4\) bile, dintre care două roșii. Deci \[ \PP(X_2=1)=\frac25\cdot\frac14+\frac35\cdot\frac24=\frac{2+6}{20}=\frac25 , \] adică \(X_1\) și \(X_2\) au aceeași repartiție, \(\Bern(0.4)\). Ele nu sunt însă independente: \(\PP(X_1=1,\ X_2=1)=\frac25\cdot\frac14=0.1\), pe când \(\PP(X_1=1)\,\PP(X_2=1)=0.16\). Perechea \((X_1,X_2)\) nu este un eșantion în sensul Definiției 8; selecția fără revenire are propria ei teorie (Cursul 3).

  3. Independență, dar repartiții diferite. Măsurăm aceeași mărime \(\mu\) cu două aparate de precizii diferite: \(X_1\sim\Norm(\mu,1)\) și \(X_2\sim\Norm(\mu,4)\), independente. Nici acesta nu este un eșantion, deoarece nu există o populație \(Q\) comună (perechea \((X_1,X_2)\) este descrisă totuși de un model statistic, cu parametrul \(\mu\in\R\)). Formulele pentru eșantioane nu se mai aplică: media \(\frac{X_1+X_2}2\) are varianța \(\frac{1+4}{4}=1.25\), mai mare decât varianța \(1\) a măsurătorii precise luate singură. Pentru un eșantion acest lucru nu se poate întâmpla, deoarece \(\Var(\Xbar)=\sigma^2/n\le\sigma^2\) (Corolarul 43 din Cursul 1).

4.2 Vectorul de selecție și spațiul de selecție

Este util să privim eșantionul ca pe un singur obiect, vectorul de selecție \(\bX=(X_1,\dots,X_n):\Omega\to\R^n\), un vector aleator în sensul Definiției 34 din Cursul 1. Mulțimea \(\mathcal{X}^n\) a valorilor posibile ale lui \(\bX\) se numește spațiul de selecție (spațiul eșantioanelor), unde \(\mathcal{X}\subseteq\R\) conține valorile posibile ale unei observații: \(\{0,1\}\) pentru Bernoulli, \(\N\) pentru Poisson, \((0,\infty)\) pentru exponențială, \(\R\) pentru normală. Repartiția lui \(\bX\) se exprimă cu ajutorul probabilității produs, pe care o reamintim.

Definiția 9 (Câmpul de probabilitate produs)

Fie \((\Omega_1,\F_1,\PP_1)\) și \((\Omega_2,\F_2,\PP_2)\) două câmpuri de probabilitate. Pe produsul cartezian \(\Omega_1\times\Omega_2=\{(\omega_1,\omega_2):\ \omega_1\in\Omega_1,\ \omega_2\in\Omega_2\}\) considerăm \(\sigma\)-algebra produs \[ \F_1\otimes\F_2=\sigma\big(\{A_1\times A_2:\ A_1\in\F_1,\ A_2\in\F_2\}\big). \] Există o unică probabilitate \(\PP=\PP_1\otimes\PP_2\) pe \(\F_1\otimes\F_2\), numită probabilitatea produs, astfel încât \[ \PP(A_1\times A_2)=\PP_1(A_1)\,\PP_2(A_2),\qquad A_1\in\F_1,\ A_2\in\F_2 . \] Construcția se extinde prin inducție la \(n\) factori; pentru o probabilitate \(Q\) pe \((\R,\B(\R))\) notăm \(Q^{\otimes n}=Q\otimes\dots\otimes Q\), probabilitate pe \((\R^n,\B(\R^n))\), unde \(\B(\R^n)=\B(\R)^{\otimes n}\).

Existența și unicitatea probabilității produs sunt rezultate de teoria măsurii, pe care le admitem (Billingsley 1995, sec. 18); precizăm doar pe ce se sprijină. Unicitatea rezultă din teorema lui Dynkin: dreptunghiurile \(A_1\times A_2\) formează o clasă închisă la intersecții, deoarece \((A_1\times A_2)\cap(B_1\times B_2)=(A_1\cap B_1)\times(A_2\cap B_2)\) (un punct \((\omega_1,\omega_2)\) aparține ambelor dreptunghiuri exact când \(\omega_1\in A_1\cap B_1\) și \(\omega_2\in A_2\cap B_2\)), clasă care generează \(\F_1\otimes\F_2\), iar două probabilități care coincid pe o astfel de clasă coincid pe \(\sigma\)-algebra generată (Jacod and Protter 2004, cap. 6). Existența se obține prin teorema de prelungire a lui Carathéodory.

Repartiția vectorului de selecție este, datorită independenței, probabilitatea produs \(Q^{\otimes n}\): pentru boreliene \(A_1,\dots,A_n\), \[ \begin{aligned} \PP(\bX\in A_1\times\dots\times A_n)&=\PP(X_1\in A_1,\dots,X_n\in A_n)=\prod_{i=1}^n\PP(X_i\in A_i)\\ &=\prod_{i=1}^nQ(A_i)=Q^{\otimes n}(A_1\times\dots\times A_n), \end{aligned} \] iar două probabilități pe \(\B(\R^n)\) care coincid pe dreptunghiuri coincid peste tot. Într-un model parametric \(\{Q_\theta:\theta\in\Theta\}\) pentru o observație, eșantionul induce astfel modelul statistic al eșantionului (modelul canonic din Secțiunea 3) \[ \xi=\big(\mathcal{X}^n,\ \A^{\otimes n},\ \{\PP_\theta=Q_\theta^{\otimes n}\}_{\theta\in\Theta}\big). \tag{3}\] De exemplu, pentru un eșantion din populația \(\Norm(\mu,\sigma^2)\) avem \(\Omega=\R^n\), \(\F=\B(\R^n)\), \(\theta=(\mu,\sigma^2)\) și \(\PP_\theta=\Norm(\mu,\sigma^2)^{\otimes n}\). Modelul urnei din Secțiunea 3.1 este exact de această formă, cu \(\mathcal{X}=\{0,1\}\) (identificând \(r\) cu \(1\) și \(v\) cu \(0\)) și \(Q_\theta=\Bern(\theta)\). Rezultatul următor spune cum se calculează în practică probabilitățile în modelul (3).

Propoziția 10 (Densitatea comună a unui eșantion)

Fie \(\{Q_\theta\}_{\theta\in\Theta}\) un model dominat de măsura \(\sigma\)-finită \(\nu\) pe \((\mathcal{X},\A)\), cu densitățile \(f_\theta=\dd Q_\theta/\dd\nu\). Atunci modelul eșantionului \(\{Q_\theta^{\otimes n}\}_{\theta\in\Theta}\) este dominat de \(\nu^{\otimes n}\), cu densitatea \[ \begin{aligned} f_\theta(x_1,\dots,x_n)&=\prod_{i=1}^nf_\theta(x_i),\qquad\text{adică}\\ \PP_\theta(\bX\in A)&=\int_A\prod_{i=1}^nf_\theta(x_i)\dd\nu^{\otimes n}(x_1,\dots,x_n),\quad A\in\A^{\otimes n}. \end{aligned} \tag{4}\]

Demonstrație. Ideea demonstrației. Independența transformă probabilitatea unui „dreptunghi” \(\{X_1\in A_1,\dots,X_n\in A_n\}\) într-un produs de probabilități, fiecare fiind o sumă, respectiv o integrală a densității \(f_\theta\); produsul acestor sume (integrale) este suma (integrala) produsului \(\prod_if_\theta(x_i)\). Demonstrăm aici complet cele două cazuri folosite efectiv în curs; pentru o măsură dominantă oarecare demonstrația este aceeași, cu teorema lui Tonelli în locul calculelor de mai jos (Billingsley 1995, sec. 18).

Cazul discret (\(\mathcal{X}\) cel mult numărabilă, \(\nu\) = măsura de numărare, \(f_\theta(x)=\PP_\theta(X_1=x)\)). Pentru \(\bx=(x_1,\dots,x_n)\in\mathcal{X}^n\), aplicăm definiția independenței (Definiția 37 din Cursul 1) cu borelienele \(B_i=\{x_i\}\): \[ \PP_\theta(X_1=x_1,\dots,X_n=x_n)=\prod_{i=1}^n\PP_\theta(X_i=x_i)=\prod_{i=1}^nf_\theta(x_i). \] Vectorul \(\bX\) ia valori în mulțimea cel mult numărabilă \(\mathcal{X}^n\), deci, pentru \(A\subseteq\mathcal{X}^n\), evenimentul \(\{\bX\in A\}\) este reuniunea disjunctă, cel mult numărabilă, a evenimentelor \(\{\bX=\bx\}\), \(\bx\in A\), și din \(\sigma\)-aditivitate \[ \PP_\theta(\bX\in A)=\sum_{\bx\in A}\PP_\theta(\bX=\bx)=\sum_{\bx\in A}\prod_{i=1}^nf_\theta(x_i). \] Aceasta este integrala din (4) în raport cu măsura de numărare pe \(\mathcal{X}^n\), care este chiar \(\nu^{\otimes n}\): pe dreptunghiuri, \(\#(A_1\times\dots\times A_n)=\#A_1\cdots\#A_n=\nu(A_1)\cdots\nu(A_n)\). În particular, dacă \(\nu^{\otimes n}(A)=0\), atunci \(A=\emptyset\) și \(\PP_\theta(\bX\in A)=0\): modelul eșantionului este dominat de \(\nu^{\otimes n}\).

Cazul continuu (\(\mathcal{X}=\R\), \(\nu\) = măsura Lebesgue). Fie \(F_\theta(x)=\int_{-\infty}^xf_\theta(t)\dd t\) funcția de repartiție a unei observații (Definiția 15 din Cursul 1).

Pasul 1 (funcția de repartiție comună). Din independență (Definiția 37 din Cursul 1), pentru orice \((x_1,\dots,x_n)\in\R^n\), \[ \PP_\theta(X_1\le x_1,\dots,X_n\le x_n)=\prod_{i=1}^nF_\theta(x_i)=\prod_{i=1}^n\int_{-\infty}^{x_i}f_\theta(t_i)\dd t_i . \]

Pasul 2 (produsul de integrale este o integrală iterată). Calculăm integrala iterată a funcției \(\prod_if_\theta(t_i)\), începând cu variabila \(t_n\): factorii \(f_\theta(t_1),\dots,f_\theta(t_{n-1})\) nu depind de \(t_n\), deci ies în fața integralei interioare, \[ \int_{-\infty}^{x_n}\prod_{i=1}^nf_\theta(t_i)\dd t_n=\Big(\prod_{i=1}^{n-1}f_\theta(t_i)\Big)\int_{-\infty}^{x_n}f_\theta(t_n)\dd t_n=\Big(\prod_{i=1}^{n-1}f_\theta(t_i)\Big)F_\theta(x_n). \] Constanta \(F_\theta(x_n)\) iese apoi în fața integralei după \(t_{n-1}\), care se calculează la fel, și așa mai departe; după \(n\) pași, \[ \int_{-\infty}^{x_1}\!\!\cdots\int_{-\infty}^{x_n}\prod_{i=1}^nf_\theta(t_i)\dd t_n\cdots\dd t_1=\prod_{i=1}^nF_\theta(x_i)=\PP_\theta(X_1\le x_1,\dots,X_n\le x_n) . \] Am folosit doar liniaritatea integralei simple, la fiecare pas.

Pasul 3 (concluzia). Funcția de repartiție comună a lui \(\bX\) are deci forma din Definiția 35 din Cursul 1, cu \(f_{\bX}(\bx)=\prod_if_\theta(x_i)\ge0\): vectorul \(\bX\) este continuu, cu această densitate comună. Conform aceleiași definiții (trecerea de la „ortanți” la boreliene oarecare fiind admisă acolo), \(\PP_\theta(\bX\in A)=\int_A\prod_if_\theta(x_i)\dd\bx\) pentru orice borelian \(A\subseteq\R^n\), adică (4). În fine, dacă \(A\) are măsura Lebesgue nulă, integrala pe \(A\) a oricărei funcții este nulă, deci \(\PP_\theta(\bX\in A)=0\): modelul eșantionului este dominat de măsura Lebesgue pe \(\R^n\).

Discuție. Independența este folosită o singură dată, la factorizarea probabilității (respectiv a funcției de repartiție); pentru observații dependente densitatea comună nu mai este un produs.■

Formula (4) este punctul de plecare al aproape tuturor calculelor din curs. Iată forma ei în modelele uzuale.

Exemplul 13 (Densități comune ale unor eșantioane)

Fie \(x_1,\dots,x_n\) o realizare și \(s=\sum_{i=1}^nx_i\).

  1. Bernoulli. \(f_\theta(x)=\theta^x(1-\theta)^{1-x}\), \(x\in\{0,1\}\), deci \[ f_\theta(x_1,\dots,x_n)=\prod_{i=1}^n\theta^{x_i}(1-\theta)^{1-x_i}=\theta^{s}(1-\theta)^{n-s},\qquad \bx\in\{0,1\}^n, \] exact formula (1) a modelului urnei.

  2. Poisson. \(f_\lambda(x)=e^{-\lambda}\lambda^x/x!\), \(x\in\N\), deci \(f_\lambda(x_1,\dots,x_n)=\prod_ie^{-\lambda}\frac{\lambda^{x_i}}{x_i!}=\dfrac{e^{-n\lambda}\lambda^{s}}{x_1!\cdots x_n!}\), \(\bx\in\N^n\).

  3. Exponențial. \(f_\lambda(x_1,\dots,x_n)=\prod_i\lambda e^{-\lambda x_i}=\lambda^ne^{-\lambda s}\) pentru \(\bx\in(0,\infty)^n\) și \(0\) în rest.

  4. Normal. Din \(f_{\mu,\sigma^2}(x)=(2\pi\sigma^2)^{-1/2}e^{-(x-\mu)^2/(2\sigma^2)}\), produsul exponențialelor este exponențiala sumei: \[ f_{\mu,\sigma^2}(x_1,\dots,x_n)=(2\pi\sigma^2)^{-n/2}\exp\Big(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\Big),\qquad\bx\in\R^n . \] Adunând și scăzând media \(\bar x=s/n\), \((x_i-\mu)^2=(x_i-\bar x)^2+2(x_i-\bar x)(\bar x-\mu)+(\bar x-\mu)^2\), iar termenul din mijloc dispare prin sumare, deoarece \(\sum_i(x_i-\bar x)=s-n\bar x=0\). Deci \(\sum_{i=1}^n(x_i-\mu)^2=\sum_{i=1}^n(x_i-\bar x)^2+n(\bar x-\mu)^2\): densitatea comună depinde de date numai prin perechea \(\big(\bar x,\sum_i(x_i-\bar x)^2\big)\).

  5. Uniform pe \([0,\theta]\). \(f_\theta(x)=\frac1\theta\Ind_{[0,\theta]}(x)\), iar produsul indicatorilor este \(1\) exact când toate \(x_i\in[0,\theta]\), adică \(\min_ix_i\ge0\) și \(\max_ix_i\le\theta\): \[ f_\theta(x_1,\dots,x_n)=\frac{1}{\theta^n}\,\Ind_{\{\min_ix_i\ge0\}}\,\Ind_{\{\max_ix_i\le\theta\}} . \] Ca funcție de \(\theta\), această expresie este nulă pentru \(\theta<\max_ix_i\) și descrescătoare după: informația despre \(\theta\) este concentrată în maximul observațiilor.

În (a)–(c) densitatea comună depinde de date numai prin suma \(s\), în (d) prin \((\bar x,\sum_i(x_i-\bar x)^2)\), iar în (e) prin extreme. Această observație stă la baza noțiunii de statistică suficientă (Cursul 7).

Privită ca funcție de \(\theta\) pentru \(\bx\) fixat, expresia (4) este funcția de verosimilitate \(L(\theta;\bx)\), obiectul central din Cursul 9; am întâlnit-o deja, pentru urnă, în Figura 1.

Pentru un număr finit de variabile, construcția de mai sus rezolvă și problema existenței unui eșantion: câmpul \(\big(\R^n,\B(\R^n),Q^{\otimes n}\big)\), împreună cu proiecțiile \(X_i(x_1,\dots,x_n)=x_i\), oferă un eșantion de volum \(n\) din \(Q\) (din definiția probabilității produs, \(\PP(X_1\in A_1,\dots,X_n\in A_n)=\prod_iQ(A_i)\)). Rezultatele asimptotice (\(n\to\infty\)) cer însă un șir infinit de variabile i.i.d. definite pe același câmp de probabilitate; existența unui astfel de șir face obiectul Cursul 3.

4.3 Statistici

Datele brute \(x_1,\dots,x_n\) sunt rareori folosite ca atare: le rezumăm prin câteva numere (media, maximul, proporția unor valori). Orice astfel de rezumat, calculabil din date, este o statistică.

Definiția 11 (Statistică)

Fie \(X_1,\dots,X_n\) un eșantion de volum \(n\) dintr-o populație \(F_\theta\), \(\theta\in\Theta\subseteq\R^d\). Se numește statistică o variabilă aleatoare (sau un vector aleator) de forma \[ T_n=h(X_1,X_2,\dots,X_n), \] unde \(h:\R^n\to\R^k\) este o funcție măsurabilă care nu depinde de \(\theta\). Repartiția lui \(T_n\) se numește repartiția de eșantionare a statisticii.

Măsurabilitatea lui \(h\) garantează că \(T_n\) este o variabilă aleatoare (evenimentele \(\{T_n\in B\}=\{\bX\in h^{-1}(B)\}\) aparțin lui \(\F\)), deci că îi putem calcula probabilitățile sub fiecare \(\PP_\theta\). Toate funcțiile continue, precum și funcțiile obținute din ele prin operațiile uzuale (sume, produse, maxime, indicatori ai unor intervale), sunt măsurabile (Billingsley 1995, sec. 13); în practică această condiție nu ridică probleme.

Exemplul 14 (Statistici și non-statistici)

Sunt statistici: \(T_n=\sum_{i=1}^nX_i\), \(T_n=\prod_{i=1}^nX_i\), \(T_n=\max(X_1,\dots,X_n)\), perechea \(T_n=\big(\sum_iX_i,\sum_iX_i^2\big)\), indicatorul \(T_n=\Ind_{(-\infty,7]}(X_1)\) și chiar constanta \(T_n=2022\) (o statistică inutilă, dar o statistică) (Martin 2015, Def. 1.1). În fiecare caz funcția \(h\) este explicită și măsurabilă: \(h(x_1,\dots,x_n)=x_1+\dots+x_n\), respectiv \(x_1\cdots x_n\) (continue), \(\max(x_1,\dots,x_n)\) (continuă, ca maxim de funcții continue), \(h(\bx)=\big(\sum_ix_i,\sum_ix_i^2\big)\) (cu valori în \(\R^2\), deci \(k=2\)), indicatorul unui interval și funcția constantă. În schimb, dacă \(\theta\) este necunoscut, \(T_n=\sum_{i=1}^nX_i+\theta\) nu este o statistică, iar în modelul \(\Norm(\mu,\sigma^2)\) cu \(\mu\) necunoscut, \(\sum_i(X_i-\mu)^2\) nu este o statistică: funcțiile corespunzătoare depind de parametrul necunoscut. O statistică trebuie să poată fi calculată efectiv din date.

Distincția depinde de model: dacă în modelul normal media \(\mu=\mu_0\) este cunoscută (iar necunoscută este doar \(\sigma^2\)), atunci \(\sum_i(X_i-\mu_0)^2\) este o statistică, și anume una foarte utilă pentru estimarea lui \(\sigma^2\). Pe de altă parte, \(\sqrt n(\Xbar-\mu)/\sigma\) nu este o statistică atunci când \((\mu,\sigma)\) este necunoscut, dar repartiția ei, \(\Norm(0,1)\), nu depinde de parametri (Exemplul 30 din Cursul 1); astfel de funcții ale datelor și ale parametrului, numite cantități pivotale, stau la baza intervalelor de încredere (Cursul 12).

Cele mai importante statistici, pe care le vom studia în detaliu în cursurile următoare, sunt:

  • media eșantionului (media empirică) \(\Xbar=\frac1n\sum_{i=1}^nX_i\);
  • varianța empirică \(V_n^2=\frac1n\sum_{i=1}^n(X_i-\Xbar)^2\) și varianța eșantionului \(S_n^2=\frac1{n-1}\sum_{i=1}^n(X_i-\Xbar)^2\) (Cursul 5);
  • momentele empirice \(\frac1n\sum_{i=1}^nX_i^k\);
  • statisticile de ordine \(X_{(1)}\le\dots\le X_{(n)}\) (valorile eșantionului ordonate crescător; \(X_{(1)}=\min_iX_i\), \(X_{(n)}=\max_iX_i\)), funcția de repartiție empirică \(F_n(x)=\frac1n\sum_{i=1}^n\Ind_{\{X_i\le x\}}\) și cuantilele empirice (Cursul 6).

De exemplu, pentru datele din Exemplul 4, valorile observate ale acestor statistici sunt \(\bar x_{10}=1.28\), \(s_{10}^2\approx1.0196\), \(v_{10}^2=\frac9{10}s_{10}^2\approx0.9177\), \(x_{(1)}=0.12\) și \(x_{(10)}=3.20\). Iată calculul varianțelor: suma pătratelor observațiilor este \[ \sum_{i=1}^{10}x_i^2=0.35^2+1.92^2+\dots+1.40^2=25.5608, \] iar din identitatea \(\sum_i(x_i-\bar x)^2=\sum_ix_i^2-n\bar x^2\) (obținută dezvoltând pătratul și folosind \(\sum_ix_i=n\bar x\)), \[ \sum_{i=1}^{10}(x_i-\bar x_{10})^2=25.5608-10\cdot1.28^2=25.5608-16.384=9.1768, \] de unde \(s_{10}^2=\frac{9.1768}{9}\approx1.0196\) și \(v_{10}^2=\frac{9.1768}{10}\approx0.9177\). Valorile ordonate sunt \(0.12<0.35<0.49<0.78<0.88<1.05<1.40<1.92<2.61<3.20\), deci \(x_{(1)}=0.12\) și \(x_{(10)}=3.20\). În R aceste statistici se obțin cu mean(x), var(x) (care folosește numitorul \(n-1\)), min(x) și max(x), iar sort(x) dă toate statisticile de ordine.

Repartiția de eșantionare a unei statistici descrie variabilitatea ei de la un eșantion la altul. Ce înseamnă aceasta, concret? Datele pe care le avem sunt un singur eșantion, deci o singură valoare a statisticii. Să ne imaginăm însă că întregul experiment (extragerea a \(n\) observații) ar fi repetat de foarte multe ori, în aceleași condiții: fiecare repetare ar da alte date și, deci, altă valoare a statisticii. Repartiția acestor valori este repartiția de eșantionare. Figura 3 arată acest lucru pentru media a \(n=5\) observații dintr-o populație \(\Norm(10,4)\): în stânga sunt zece eșantioane, fiecare cu media lui; în dreapta, histograma mediilor a \(10\,000\) de eșantioane. Mediile sunt mult mai puțin împrăștiate decât observațiile: histograma lor urmează densitatea \(\Norm(10,4/5)\) (pe care o vom obține în Propoziția 12), nu densitatea populației. Calitatea unei proceduri statistice este o proprietate a acestei repartiții — a tuturor valorilor pe care statistica le-ar fi putut lua —, nu a valorii observate întâmplător.

Arată codul R
set.seed(27)
# fiecare linie a matricei este un eșantion de volum 5 din N(10, 4)
es5 <- matrix(rnorm(5 * 10000, mean = 10, sd = 2), ncol = 5)
med5 <- rowMeans(es5)              # statistica: media fiecărui eșantion
# stânga: primele 10 eșantioane (puncte) și mediile lor (romburi)
g1 <- ggplot(data.frame(nr = rep(1:10, 5), x = c(es5[1:10, ])),
             aes(x, nr)) + geom_point(alpha = 0.6) +
  geom_point(data = data.frame(x = med5[1:10], nr = 1:10), shape = 18,
             size = 3.2, colour = culori[["rosu"]]) +
  scale_y_continuous(breaks = 1:10) +
  labs(title = "zece eșantioane", x = "observații", y = "eșantionul")
# dreapta: histograma tuturor mediilor și cele două densități
gr <- seq(4, 16, length.out = 300)
g2 <- ggplot(data.frame(m = med5), aes(m)) +
  geom_histogram(aes(y = after_stat(density)), bins = 45,
                 fill = culori[["albastru"]], colour = "white", alpha = 0.7) +
  geom_line(data = data.frame(x = gr, y = dnorm(gr, 10, 2 / sqrt(5))),
            aes(x, y), colour = culori[["rosu"]], linewidth = 0.9) +
  geom_line(data = data.frame(x = gr, y = dnorm(gr, 10, 2)), aes(x, y),
            colour = culori[["gri"]], linetype = 2) +
  labs(title = "10 000 de medii", x = "media eșantionului", y = "densitate")
g1 + g2
Figura 3: Ce înseamnă repartiția de eșantionare. Stânga: zece eșantioane de volum \(n=5\) din populația \(\Norm(10,4)\) (punctele), fiecare cu media lui (rombul roșu). Dreapta: histograma mediilor a \(10\,000\) de astfel de eșantioane, densitatea exactă \(\Norm(10,4/5)\) a mediei (curba roșie) și densitatea populației (linia întreruptă).

Pentru eșantioane mici dintr-o populație discretă repartiția de eșantionare se poate calcula prin enumerare.

Exemplul 15 (Trei aruncări ale unei monede)

O monedă cu probabilitatea \(\theta\) de a cădea cu stema în sus este aruncată de trei ori; \(X_i=1\) dacă la aruncarea \(i\) apare stema și \(X_i=0\) altfel. Spațiul de selecție \(\{0,1\}^3\) are 8 elemente, iar din Exemplul 13(a), \(\PP_\theta(X_1=x_1,X_2=x_2,X_3=x_3)=\theta^{s}(1-\theta)^{3-s}\), \(s=x_1+x_2+x_3\). Valoarea \(s\) a statisticii \(T_1=X_1+X_2+X_3\) este atinsă de \(\binom3s\) vectori (de exemplu, \(s=1\) de \((1,0,0),(0,1,0),(0,0,1)\)), de unde repartițiile de eșantionare ale lui \(T_1\) și ale mediei \(T_2=\bar X_3=T_1/3\): \[ \begin{array}{c|cccc} t_1 & 0 & 1 & 2 & 3\\ t_2=t_1/3 & 0 & 1/3 & 2/3 & 1\\ \hline \PP_\theta(T_1=t_1)=\PP_\theta(T_2=t_2) & (1-\theta)^3 & 3\theta(1-\theta)^2 & 3\theta^2(1-\theta) & \theta^3 \end{array} \] Repartiția de eșantionare depinde de \(\theta\) — tocmai de aceea valoarea observată a lui \(T_1\) ne informează despre \(\theta\). De exemplu, \(\PP_\theta(T_1=3)=\theta^3\) este \(0.125\) pentru \(\theta=0.5\), dar \(0.729\) pentru \(\theta=0.9\). Nu orice statistică este la fel de informativă. Fie \(T_3=X_1-X_2\), cu valorile posibile \(-1,0,1\). Din independența lui \(X_1\) și \(X_2\), \[ \begin{aligned} \PP_\theta(T_3=1)&=\PP_\theta(X_1=1,X_2=0)=\theta(1-\theta),\\ \PP_\theta(T_3=-1)&=\PP_\theta(X_1=0,X_2=1)=(1-\theta)\theta,\\ \PP_\theta(T_3=0)&=\PP_\theta(X_1=1,X_2=1)+\PP_\theta(X_1=0,X_2=0)=\theta^2+(1-\theta)^2 . \end{aligned} \] Aceste expresii nu se schimbă dacă înlocuim \(\theta\) cu \(1-\theta\), deci repartiția lui \(T_3\) este aceeași pentru \(\theta\) și \(1-\theta\); din valoarea lui \(T_3\) nu putem distinge, de exemplu, \(\theta=0.1\) de \(\theta=0.9\).

Același raționament se aplică în orice model, discret sau continuu; îl ilustrăm pentru două observații.

Exemplul 16 (Repartiții de eșantionare calculate direct pentru \(n=2\))

Ca în Exemplul 15, descompunem evenimentul care ne interesează după valorile eșantionului și folosim densitatea comună (Propoziția 10). Statistica este suma \(T=X_1+X_2\), respectiv media \(\bar X_2=T/2\).

  1. Populația Poisson. Fie \(X_1,X_2\) i.i.d. \(\Pois(\lambda)\). Suma ia valoarea \(k\in\N\) exact când \((X_1,X_2)\) este una dintre perechile \((j,k-j)\), \(j=0,1,\dots,k\); de exemplu, \(\{T=2\}\) este format din perechile \((0,2)\), \((1,1)\) și \((2,0)\). Din Exemplul 13(b), perechea \((j,k-j)\) are probabilitatea \(e^{-2\lambda}\lambda^{k}/\big(j!\,(k-j)!\big)\), deci \[ \PP_\lambda(T=2)=e^{-2\lambda}\lambda^2\Big(\frac1{0!\,2!}+\frac1{1!\,1!}+\frac1{2!\,0!}\Big)=e^{-2\lambda}\lambda^2\Big(\frac12+1+\frac12\Big)=e^{-2\lambda}\,\frac{(2\lambda)^2}{2!}, \] iar în general, înmulțind și împărțind cu \(k!\) și folosind \(\sum_{j=0}^k\binom kj=2^k\), \[ \PP_\lambda(T=k)=e^{-2\lambda}\lambda^k\sum_{j=0}^k\frac{1}{j!\,(k-j)!}=e^{-2\lambda}\frac{\lambda^k}{k!}\sum_{j=0}^k\binom kj=e^{-2\lambda}\frac{(2\lambda)^k}{k!},\qquad k\in\N . \] Așadar \(T\sim\Pois(2\lambda)\), iar media \(\bar X_2\) ia valorile \(0,\frac12,1,\frac32,\dots\), cu \(\PP_\lambda(\bar X_2=k/2)=\PP_\lambda(T=k)\). Pentru \(\lambda=1\): \[ \begin{array}{c|cccccc} \bar x_2=k/2 & 0 & 0.5 & 1 & 1.5 & 2 & \ge2.5\\ \hline \PP_1(\bar X_2=k/2)\rule{0pt}{2.5ex} & 0.1353 & 0.2707 & 0.2707 & 0.1804 & 0.0902 & 0.0527 \end{array} \] Media a două observații se află la cel mult \(0.5\) de \(\lambda=1\) cu probabilitatea \(0.2707+0.2707+0.1804=0.7218\); pentru o singură observație, \(\PP_1(|X_1-1|\le0.5)=\PP_1(X_1=1)=e^{-1}\approx0.3679\).

  2. Populația exponențială. Fie \(X_1,X_2\) i.i.d. \(\Exp(\lambda)\), cu densitatea comună \(\lambda^2e^{-\lambda(x_1+x_2)}\) pe \((0,\infty)^2\) (Exemplul 13(c)). Pentru \(s>0\), evenimentul \(\{T\le s\}\) înseamnă că punctul \((X_1,X_2)\) se află în triunghiul \(\{x_1>0,\ x_2>0,\ x_1+x_2\le s\}\). Integrăm densitatea comună pe acest triunghi, întâi după \(x_2\in(0,s-x_1)\), apoi după \(x_1\in(0,s)\): \[ \begin{aligned} \PP_\lambda(T\le s)&=\int_0^s\lambda e^{-\lambda x_1}\Big(\int_0^{s-x_1}\lambda e^{-\lambda x_2}\dd x_2\Big)\dd x_1=\int_0^s\lambda e^{-\lambda x_1}\big(1-e^{-\lambda(s-x_1)}\big)\dd x_1\\ &=\int_0^s\lambda e^{-\lambda x_1}\dd x_1-\lambda e^{-\lambda s}\int_0^s\dd x_1=1-e^{-\lambda s}-\lambda s\,e^{-\lambda s} . \end{aligned} \] Pentru \(s\le0\) probabilitatea este \(0\), deci funcția de repartiție a lui \(T\) este continuă, cu derivata continuă în afara lui \(0\); derivând (Lema 16 din Cursul 1) obținem densitatea sumei, \(f_T(s)=\lambda e^{-\lambda s}-\lambda e^{-\lambda s}+\lambda^2s\,e^{-\lambda s}=\lambda^2s\,e^{-\lambda s}\), \(s>0\). Suma nu mai este exponențială: densitatea ei se anulează în \(0\), deoarece este puțin probabil ca ambii timpi să fie foarte mici. Pentru medie, \(\PP_\lambda(\bar X_2\le x)=\PP_\lambda(T\le2x)=1-(1+2\lambda x)e^{-2\lambda x}\), \(x>0\). Pentru \(\lambda=1\) (media populației este \(1\)), \[ \PP_1\big(|\bar X_2-1|\le0.5\big)=\big(1-4e^{-3}\big)-\big(1-2e^{-1}\big)=2e^{-1}-4e^{-3}\approx0.7358-0.1991=0.5366 , \] față de \(\PP_1(|X_1-1|\le0.5)=e^{-0.5}-e^{-1.5}\approx0.6065-0.2231=0.3834\) pentru o singură observație.

În ambele modele, repartiția de eșantionare a mediei este mai concentrată în jurul mediei populației decât repartiția unei observații — chiar și pentru \(n=2\). În Secțiunea 5 vom obține aceste repartiții pentru orice \(n\), fără enumerări și fără integrale multiple.

Când repartiția de eșantionare nu se poate calcula exact, o putem aproxima prin simulare (Martin 2015, sec. 1.5.3): generăm multe eșantioane independente din model, calculăm statistica pe fiecare și privim valorile obținute ca un eșantion din repartiția de eșantionare. Dacă \(\lambda=1/1.28\), cum variază media a 10 timpi de funcționare?

set.seed(22)
# 10 000 de eșantioane de volum 10 din Exp(1/1.28); media fiecăruia
medii <- replicate(10000, mean(rexp(10, rate = 1 / 1.28)))
c(media_medii = mean(medii), var_medii = var(medii),
  var_teoretica = 1.28^2 / 10, P_medie_sub_1 = mean(medii < 1))
#>   media_medii     var_medii var_teoretica P_medie_sub_1 
#>        1.2733        0.1640        0.1638        0.2636

Funcția replicate repetă de \(10\,000\) de ori aceeași operație — generarea unui eșantion de volum \(10\) cu rexp și calculul mediei lui —, exact ca în Figura 3. Media celor \(10\,000\) de medii simulate (\(1.2733\)) este apropiată de \(\mu=1.28\), iar varianța lor (\(0.1640\)) de \(\mu^2/n=0.1638\) (Corolarul 43 din Cursul 1, cu \(\sigma^2=\mu^2\) pentru repartiția exponențială). Frecvența relativă a evenimentului \(\{\Xbar<1\}\), \(0.2636\), aproximează probabilitatea \(\PP(\Xbar<1)\), cu o eroare de ordinul \(\sqrt{p(1-p)/10\,000}\approx0.0044\). În secțiunea următoare vom vedea că, pentru câteva modele importante, repartiția de eșantionare se poate calcula exact; de exemplu, probabilitatea \(\PP(\Xbar<1)\) va fi obținută în Exemplul 20.

5 Repartițiile exacte ale unor statistici

Toate cele trei răspunsuri din Exemplul 2 au folosit repartiția unei statistici sub diverse valori ale parametrului. În general această repartiție este greu de calculat (de aceea vom folosi simularea, Cursul 4, și rezultatele asimptotice, Cursul 6). Pentru sume de variabile independente — și deci pentru media eșantionului — ea se obține însă explicit în modelele fundamentale.

5.1 Sume de variabile independente: metoda f.g.m.

Instrumentul potrivit este funcția generatoare de momente, iar metoda are trei pași:

  1. calculăm \(M_{S_n}(t)=\prod_iM_{X_i}(t)=M(t)^n\) (Propoziția 46 din Cursul 1), precizând intervalul pe care este finită;
  2. recunoaștem în rezultat f.g.m. a unei repartiții cunoscute, finită pe un interval deschis ce conține \(0\);
  3. concluzionăm prin teorema de unicitate (Teorema 33 din Cursul 1).

Reamintim că \(X\sim\GammaD(\alpha,\lambda)\), \(\alpha,\lambda>0\), dacă are densitatea \[ f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\quad x>0,\qquad \Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}\dd x , \] cu \(\Gamma(n)=(n-1)!\) pentru \(n\in\N^*\) și \(\GammaD(1,\lambda)=\Exp(\lambda)\); media este \(\alpha/\lambda\), varianța \(\alpha/\lambda^2\), iar f.g.m. \(\big(\frac{\lambda}{\lambda-t}\big)^\alpha\), \(t<\lambda\) (Exemplul 21 din Cursul 1). În R, dgamma(x, shape, rate) folosește exact parametrizarea \(\GammaD(\alpha,\lambda)\), cu shape \(=\alpha\) și rate \(=\lambda\).

Propoziția 12 (Sume de variabile i.i.d. din familiile uzuale)

Fie \(X_1,\dots,X_n\) un eșantion și \(S_n=X_1+\dots+X_n\).

  1. Dacă \(X_i\sim\Bern(\theta)\), atunci \(S_n\sim\Bin(n,\theta)\).

  2. Dacă \(X_i\sim\Pois(\lambda)\), atunci \(S_n\sim\Pois(n\lambda)\).

  3. Dacă \(X_i\sim\Exp(\lambda)\), atunci \(S_n\sim\GammaD(n,\lambda)\), adică \(S_n\) are densitatea \(f_{S_n}(s)=\dfrac{\lambda^ns^{n-1}}{(n-1)!}e^{-\lambda s}\), \(s>0\).

  4. Dacă \(X_i\sim\Norm(\mu,\sigma^2)\), atunci \(S_n\sim\Norm(n\mu,n\sigma^2)\) și \(\Xbar\sim\Norm(\mu,\sigma^2/n)\).

Demonstrație. Fie \(M\) f.g.m. comună a observațiilor. Observațiile fiind independente și identic repartizate, \(M_{S_n}(t)=M(t)^n\) și \(M_{\Xbar}(t)=M_{S_n}(t/n)=M(t/n)^n\) pentru orice \(t\) pentru care \(M(t)\), respectiv \(M(t/n)\), este finită (Propoziția 46 din Cursul 1). F.g.m. ale repartițiilor care apar sunt cele din Exemplele 21 din Cursul 1 și 22 din Cursul 1; ridicându-le la puterea \(n\) obținem tabelul următor. \[ \begin{array}{l|l|l|l} \text{populația} & M(t) & M_{S_n}(t)=M(t)^n & \text{este f.g.m. a repartiției}\\ \hline \Bern(\theta) & 1-\theta+\theta e^t,\quad t\in\R & (1-\theta+\theta e^t)^n & \Bin(n,\theta)\rule{0pt}{2.6ex}\\[2pt] \Pois(\lambda) & e^{\lambda(e^t-1)},\quad t\in\R & e^{n\lambda(e^t-1)} & \Pois(n\lambda)\\[2pt] \Exp(\lambda) & \dfrac{\lambda}{\lambda-t},\quad t<\lambda & \Big(\dfrac{\lambda}{\lambda-t}\Big)^n & \GammaD(n,\lambda)\\[8pt] \Norm(\mu,\sigma^2) & e^{\mu t+\sigma^2t^2/2},\quad t\in\R & e^{n\mu t+n\sigma^2t^2/2} & \Norm(n\mu,n\sigma^2) \end{array} \] De exemplu, în cazul (a), variabila \(e^{tX_1}\) ia valoarea \(e^{t\cdot0}=1\) cu probabilitatea \(1-\theta\) și valoarea \(e^t\) cu probabilitatea \(\theta\), deci \(M(t)=1-\theta+\theta e^t\), iar pentru \(Y\sim\Bin(n,\theta)\), din formula de transport și din binomul lui Newton, \[ M_Y(t)=\sum_{k=0}^ne^{tk}\binom nk\theta^k(1-\theta)^{n-k}=\sum_{k=0}^n\binom nk(\theta e^t)^k(1-\theta)^{n-k}=(1-\theta+\theta e^t)^n,\qquad t\in\R . \] În cazul (c), densitatea repartiției \(\GammaD(\alpha,\lambda)\), \(\frac{\lambda^\alpha}{\Gamma(\alpha)}s^{\alpha-1}e^{-\lambda s}\), devine, pentru \(\alpha=n\) și \(\Gamma(n)=(n-1)!\), cea din enunț. În cazul (d), în plus, \[ M_{\Xbar}(t)=M_{S_n}\Big(\frac tn\Big)=\exp\Big(n\mu\cdot\frac tn+n\sigma^2\cdot\frac{t^2}{2n^2}\Big)=\exp\Big(\mu t+\frac{\sigma^2}{n}\cdot\frac{t^2}{2}\Big),\qquad t\in\R, \] adică f.g.m. a repartiției \(\Norm(\mu,\sigma^2/n)\) (Casella and Berger 2002, secț. 5.3).

Concluzia. În fiecare caz, f.g.m. a lui \(S_n\) (în cazul (d), și a lui \(\Xbar\)) este finită pe un interval deschis ce conține \(0\) — \(\R\) în cazurile (a), (b), (d), respectiv \((-\infty,\lambda)\) în cazul (c) — și coincide acolo cu f.g.m. a repartiției indicate. Ambele variabile admit deci f.g.m., iar acestea coincid pe un interval \((-h,h)\), \(h>0\); din Teorema 33 din Cursul 1, \(S_n\) (respectiv \(\Xbar\)) are repartiția indicată. Independența este esențială: dacă, de exemplu, \(X_2=X_1\sim\Pois(\lambda)\), atunci \(S_2=2X_1\) ia doar valori pare, deci nu are repartiție Poisson.■

Observație

Repartiția mediei \(\Xbar=S_n/n\) se deduce din cea a lui \(S_n\). În cazurile (a) și (b), \(\{\Xbar=k/n\}=\{S_n=k\}\), deci \(\Xbar\) ia valorile \(k/n\), cu \(\PP(\Xbar=k/n)=\PP(S_n=k)\). În cazul (c), dacă \(Y\sim\GammaD(\alpha,\lambda)\) și \(c>0\), atunci, din Lema 31 din Cursul 1 și din f.g.m. a repartiției Gamma, finită pentru argumente mai mici decât \(\lambda\), adică pentru \(ct<\lambda\), \[ M_{cY}(t)=M_Y(ct)=\Big(\frac{\lambda}{\lambda-ct}\Big)^\alpha=\Big(\frac{\lambda/c}{\lambda/c-t}\Big)^\alpha,\qquad t<\frac\lambda c . \] Aceasta este f.g.m. a repartiției \(\GammaD(\alpha,\lambda/c)\), deci, din Teorema 33 din Cursul 1, \(cY\sim\GammaD(\alpha,\lambda/c)\): înmulțirea cu o constantă păstrează forma și împarte rata. Cu \(Y=S_n\sim\GammaD(n,\lambda)\) și \(c=1/n\) obținem \[ \Xbar\sim\GammaD(n,n\lambda),\qquad \E_\lambda[\Xbar]=\frac{n}{n\lambda}=\frac1\lambda,\qquad \Var_\lambda(\Xbar)=\frac{n}{(n\lambda)^2}=\frac{1}{n\lambda^2}, \] iar cu \(Y=\Xbar\) și \(c=\lambda\), \(\lambda\Xbar\sim\GammaD(n,n)\), o repartiție care nu depinde de \(\lambda\).

Înainte de a merge mai departe, iată cum se folosește propoziția, pe câte un calcul scurt pentru fiecare dintre cele patru cazuri.

Exemplul 17 (Propoziția în cifre: patru calcule scurte)

În fiecare caz identificăm populația, volumul eșantionului și statistica, apoi citim repartiția din Propoziția 12.

  1. Bernoulli. O monedă măsluită cade cu stema în sus cu probabilitatea \(\theta=0.3\) și este aruncată de \(n=4\) ori. Numărul de steme este \(S_4\sim\Bin(4,0.3)\), iar proporția lor, \(\bar X_4=S_4/4\), are repartiția de eșantionare \[ \begin{array}{c|ccccc} \bar x_4 & 0 & 0.25 & 0.5 & 0.75 & 1\\ \hline \PP_{0.3}(\bar X_4=\bar x_4)\rule{0pt}{2.5ex} & 0.2401 & 0.4116 & 0.2646 & 0.0756 & 0.0081 \end{array} \] (de exemplu, \(\PP_{0.3}(S_4=1)=4\cdot0.3\cdot0.7^3=0.4116\)). Proporția observată nu poate fi niciodată egală cu \(\theta=0.3\); ea se află la cel mult \(0.2\) de \(\theta\) cu probabilitatea \(0.4116+0.2646=0.6762\).

  2. Poisson. La call-center-ul din Exemplul 5(a) sosesc în medie \(\lambda=3\) apeluri pe oră, independent de la o oră la alta. Numerele de apeluri din cele \(8\) ore ale unei ture formează un eșantion de volum \(8\) din \(\Pois(3)\), deci totalul este \(S_8\sim\Pois(8\cdot3)=\Pois(24)\), iar probabilitatea ca într-o tură să sosească cel puțin \(30\) de apeluri este \[ \PP(S_8\ge30)=1-\PP(S_8\le29)=1-\sum_{k=0}^{29}e^{-24}\frac{24^k}{k!}\approx1-0.8679=0.1321 \] (în R: 1 - ppois(29, 24)). Fără propoziție ar fi trebuit să însumăm probabilitățile tuturor șirurilor de opt numere naturale cu suma cel puțin \(30\).

  3. Exponențial. Trei becuri de tipul celor din Exemplul 4 sunt folosite pe rând, fiecare fiind înlocuit când se arde. Timpul total de funcționare este \(S_3\sim\GammaD(3,\lambda)\), cu densitatea \(\frac{\lambda^3s^2}{2}e^{-\lambda s}\), \(s>0\), media \(3/\lambda\) și varianța \(3/\lambda^2\); pentru \(\lambda=1/1.28\), media este \(3\cdot1.28=3.84\) mii de ore, iar abaterea standard \(\sqrt3\cdot1.28\approx2.22\). Probabilitățile se calculează cu funcția de repartiție Gamma (pgamma) sau, de mână, cu Corolarul 14.

  4. Normal. Un aparat măsoară o mărime \(\mu\) cu erori \(\Norm(0,\sigma^2)\); efectuăm \(n=4\) măsurători independente. Media lor este \(\bar X_4\sim\Norm(\mu,\sigma^2/4)\), cu abaterea standard \(\sigma/2\), deci \(Z=\frac{\bar X_4-\mu}{\sigma/2}\sim\Norm(0,1)\) și \[ \PP\Big(|\bar X_4-\mu|\le\frac\sigma2\Big)=\PP(|Z|\le1)=2\Phi(1)-1\approx0.6827 , \] pe când pentru o singură măsurătoare \(\PP\big(|X_1-\mu|\le\frac\sigma2\big)=2\Phi(0.5)-1\approx0.3829\), iar pentru \(n=16\) (abaterea standard a mediei este \(\sigma/4\)) probabilitatea devine \(2\Phi(2)-1\approx0.9545\). Rezultatul nu depinde nici de \(\mu\), nici de \(\sigma\).

Cât de departe de normalitate este repartiția exactă a mediei în cazul exponențial (c)? Figura 4 compară histogramele valorilor simulate ale lui \(\Xbar\) pentru o populație \(\Exp(1)\) cu densitatea exactă \(\GammaD(n,n)\) din observația de mai sus: pentru \(n=1\) densitatea este cea exponențială, iar asimetria scade lent când \(n\) crește.

Arată codul R
set.seed(23)
panou <- function(n) {
  m <- replicate(10000, mean(rexp(n)))       # medii simulate
  xs <- seq(0.001, 3.5, length.out = 300)    # grila pentru densitate
  ggplot(data.frame(m = m[m < 3.5]), aes(m)) +
    geom_histogram(aes(y = after_stat(density)), bins = 40, boundary = 0,
                   fill = culori[["albastru"]], colour = "white", alpha = 0.7) +
    geom_line(data = data.frame(x = xs, y = dgamma(xs, n, n)), aes(x, y),
              colour = culori[["rosu"]], linewidth = 0.9) +
    coord_cartesian(xlim = c(0, 3.5), ylim = c(0, 1.45)) +
    labs(title = paste0("n = ", n), x = expression(bar(x)[n]),
         y = "densitate")
}
panou(1) + panou(3) + panou(10)
Figura 4: Histogramele a \(10\,000\) de valori simulate ale mediei \(\bar X_n\) pentru o populație \(\mathrm{Exp}(1)\), cu \(n=1,3,10\), și densitatea exactă \(\mathrm{Gamma}(n,n)\) (curba roșie). Asimetria scade când \(n\) crește, dar este încă vizibilă pentru \(n=10\).

Cazul normal (d) permite calcule exacte cu funcția \(\Phi\).

Exemplul 18 (Umplerea sticlelor: repartiția exactă a mediei)

O mașină umple sticle; masa conținutului unei sticle (în grame) variază de la o sticlă la alta și este modelată prin \(X\sim\Norm(\mu,625)\): media \(\mu\) descrie reglajul mașinii (necunoscut, deoarece mașina se dereglează în timp), iar \(\sigma=25\) g precizia ei, cunoscută din specificațiile tehnice. Estimarea naturală a lui \(\mu\) este media \(\bar x_n\) a \(n\) sticle cântărite; cât de precisă este ea?

  1. Se cântăresc \(n=9\) sticle. Cu ce probabilitate media \(\Xbar\) se află la cel mult \(8\) g de \(\mu\)? Din Propoziția 12(d), \(\Xbar\sim\Norm(\mu,625/9)\), cu abaterea standard \(\sqrt{625/9}=25/3\); standardizând (Propoziția 18 din Cursul 1), \(Z=\frac{\Xbar-\mu}{25/3}\sim\Norm(0,1)\) și, împărțind inegalitatea \(|\Xbar-\mu|\le8\) la \(25/3\), \[ \begin{aligned} \PP(|\Xbar-\mu|\le8)&=\PP\Big(|Z|\le\frac{8\cdot3}{25}\Big)=\PP\big(|Z|\le 0.96\big)\\ &=\Phi(0.96)-\Phi(-0.96)=2\Phi(0.96)-1\approx0.6629 , \end{aligned} \] unde am folosit simetria \(\Phi(-z)=1-\Phi(z)\) și \(\Phi(0.96)\approx0.83147\). Probabilitatea nu depinde de \(\mu\): \(Z\) este o cantitate pivotală.

  2. Câte sticle trebuie cântărite pentru ca această probabilitate să fie cel puțin \(0.95\)? Pentru \(n\) oarecare, \(\Xbar\sim\Norm(\mu,625/n)\) are abaterea standard \(25/\sqrt n\), deci, exact ca la (i), \(\PP(|\Xbar-\mu|\le8)=2\Phi\big(8\sqrt n/25\big)-1\). Funcția \(\Phi\) fiind strict crescătoare, \[ 2\Phi(a)-1\ge0.95\iff\Phi(a)\ge0.975\iff a\ge z_{0.975}\approx1.96, \] deci condiția este \(8\sqrt n/25=0.32\sqrt n\ge1.96\), adică \(n\ge(1.96/0.32)^2\approx37.5\): sunt necesare \(n=38\) de sticle (pentru \(n=37\) probabilitatea este \(\approx0.9484\), pentru \(n=38\) este \(\approx0.9515\)). Rezultatele sunt exacte (nu asimptotice) datorită normalității populației; pentru o populație oarecare, TLC dă aceleași valori ca aproximări, pentru \(n\) mare.

5.2 Sume de variabile independente: formula de convoluție

Metoda f.g.m. cere să recunoaștem repartiția din forma f.g.m. Când nu recunoaștem f.g.m. obținută, calculăm direct repartiția sumei cu formula de convoluție, pe care o reamintim.

Lema 13 (Formula de convoluție)

Fie \(X\) și \(Y\) două v.a. independente.

  1. Dacă \(X\) și \(Y\) iau valori întregi, atunci \(\PP(X+Y=k)=\sum_{j\in\Z}\PP(X=j)\,\PP(Y=k-j)\), \(k\in\Z\).

  2. Dacă \(X\) și \(Y\) au densitățile \(f\), respectiv \(g\), atunci \(X+Y\) are densitatea \[ (f*g)(z)=\int_{\R}f(x)\,g(z-x)\dd x,\qquad z\in\R . \]

Punctul (b) este formula pentru densitatea sumei a două variabile independente, demonstrată în Propoziția 50 din Cursul 1. Punctul (a) se obține la fel, descompunând după valoarea lui \(X\): evenimentul \(\{X+Y=k\}\) este reuniunea disjunctă numărabilă a evenimentelor \(\{X=j,\ Y=k-j\}\), \(j\in\Z\), iar din \(\sigma\)-aditivitate și din independență \(\PP(X+Y=k)=\sum_{j\in\Z}\PP(X=j,\ Y=k-j)=\sum_{j\in\Z}\PP(X=j)\,\PP(Y=k-j)\).

Două exemple pentru punctul (a) ne sunt deja cunoscute: suma a două zaruri (Exemplul 33 din Cursul 1) și suma a două variabile Poisson, pentru care calculul din Exemplul 16(a) este exact formula de la (a), cu suma restrânsă la \(0\le j\le k\) (ceilalți termeni sunt nuli). Exemplul următor ilustrează punctul (b).

Exemplul 19 (Sume de variabile exponențiale și uniforme prin convoluție)

Exponențiale. Fie \(X_1,X_2\) i.i.d. \(\Exp(\lambda)\). Din Lema 13(b), pentru \(s>0\), \[ f_{X_1+X_2}(s)=\int_0^s\lambda e^{-\lambda u}\cdot\lambda e^{-\lambda(s-u)}\dd u=\lambda^2e^{-\lambda s}\int_0^s\dd u=\lambda^2s\,e^{-\lambda s} ; \] integrandul este nenul doar dacă \(u>0\) (densitatea lui \(X_1\) în \(u\)) și \(s-u>0\) (densitatea lui \(X_2\) în \(s-u\)), de unde limitele \(0\) și \(s\), iar produsul exponențialelor, \(e^{-\lambda u}e^{-\lambda(s-u)}=e^{-\lambda s}\), nu mai depinde de \(u\); pentru \(s\le0\) densitatea este nulă. Regăsim densitatea \(\GammaD(2,\lambda)\) din Propoziția 12(c), obținută în Exemplul 16(b) prin integrarea densității comune. Același calcul dă pasul de inducție: dacă \(S_n\) are densitatea \(\frac{\lambda^nu^{n-1}}{(n-1)!}e^{-\lambda u}\), \(u>0\), atunci, cum \(S_n\) și \(X_{n+1}\) sunt independente (Propoziția 39 din Cursul 1), pentru \(s>0\) \[ f_{S_{n+1}}(s)=\int_0^s\frac{\lambda^nu^{n-1}}{(n-1)!}e^{-\lambda u}\cdot\lambda e^{-\lambda(s-u)}\dd u=\frac{\lambda^{n+1}e^{-\lambda s}}{(n-1)!}\int_0^su^{n-1}\dd u=\frac{\lambda^{n+1}s^n}{n!}e^{-\lambda s} , \] unde am folosit \(\int_0^su^{n-1}\dd u=\frac{s^n}{n}\) și \((n-1)!\cdot n=n!\). Obținem astfel o a doua demonstrație a Propoziției 12(c), care nu folosește teorema de unicitate a f.g.m.

Uniforme. Fie \(U_1,U_2\) i.i.d. \(\Unif(-1,1)\), cu densitatea \(\frac12\Ind_{[-1,1]}\). Din Lema 13(b), \(W=U_1+U_2\) are densitatea \[ g(w)=\int_{\R}\tfrac12\Ind_{[-1,1]}(x)\cdot\tfrac12\Ind_{[-1,1]}(w-x)\dd x=\frac14\,\mathrm{lungimea}\big([-1,1]\cap[w-1,w+1]\big), \] deoarece integrandul este \(\frac14\) când \(-1\le x\le1\) și \(-1\le w-x\le1\) (adică \(w-1\le x\le w+1\)) și \(0\) altfel. Pentru \(0\le w\le2\) avem \(-1\le w-1\le1\le w+1\), deci intersecția este \([w-1,1]\), de lungime \(2-w\); pentru \(-2\le w<0\) avem \(w-1<-1\le w+1<1\), deci intersecția este \([-1,w+1]\), de lungime \(2+w\); pentru \(|w|>2\) este vidă. Deci \(g(w)=\frac{2-|w|}{4}\) pentru \(|w|\le2\) și \(g(w)=0\) în rest: o densitate triunghiulară, nu uniformă (verificare: aria triunghiului de bază \(4\) și înălțime \(g(0)=\frac12\) este \(1\)). Valorile apropiate de \(0\) sunt cele mai probabile, deoarece pot fi obținute în cele mai multe feluri, exact ca suma \(7\) la două zaruri. Proprietatea „suma rămâne în familie” din Propoziția 12 este deci specială.

5.3 Repartiția Gamma cu parametru de formă întreg

Pentru sumele de exponențiale, funcția de repartiție are o formă explicită, care leagă repartiția Gamma de repartiția Poisson și permite calcule „de mână”.

Corolarul 14 (Repartiția Gamma cu parametru de formă întreg și repartiția Poisson)

Dacă \(S_n\sim\GammaD(n,\lambda)\), \(n\in\N^*\), atunci pentru orice \(t\ge0\) \[ \PP(S_n>t)=\sum_{k=0}^{n-1}e^{-\lambda t}\frac{(\lambda t)^k}{k!}=\PP(N_t\le n-1),\qquad N_t\sim\Pois(\lambda t). \]

Ideea demonstrației. Fie \(G(t)\) suma din enunț și \(H(t)=\PP(S_n>t)=\int_t^\infty f_{S_n}(s)\dd s\), unde \(f_{S_n}(s)=\frac{\lambda^ns^{n-1}}{(n-1)!}e^{-\lambda s}\). Avem \(G(0)=H(0)=1\), iar derivând \(G\) termen cu termen obținem o sumă telescopică: \[ \begin{aligned} G'(t)&=-\lambda e^{-\lambda t}\sum_{k=0}^{n-1}\frac{(\lambda t)^k}{k!}+\lambda e^{-\lambda t}\sum_{k=1}^{n-1}\frac{(\lambda t)^{k-1}}{(k-1)!}\\ &=-\lambda e^{-\lambda t}\frac{(\lambda t)^{n-1}}{(n-1)!}=-f_{S_n}(t)=H'(t),\qquad t>0 . \end{aligned} \] Două funcții continue pe \([0,\infty)\), egale în \(0\) și cu aceeași derivată pe \((0,\infty)\), coincid (din teorema lui Lagrange aplicată diferenței lor), deci \(G=H\), iar \(G(t)=\sum_{k=0}^{n-1}\PP(N_t=k)=\PP(N_t\le n-1)\) (pentru \(t=0\), \(N_0=0\)); o demonstrație prin integrări prin părți succesive se găsește în (Casella and Berger 2002, cap. 3). Identitatea are și o interpretare probabilistă: dacă \(X_1,X_2,\dots\) sunt timpii dintre sosirile succesive ale unui proces Poisson de intensitate \(\lambda\) (clienți, apeluri, defecțiuni), atunci \(S_n\) este momentul sosirii a \(n\)-a, iar \(\{S_n>t\}\) înseamnă „mai puțin de \(n\) sosiri în \([0,t]\)”, adică \(\{N_t\le n-1\}\), unde \(N_t\) este numărul de sosiri în \([0,t]\).

Pentru \(n=1\) formula se reduce la \(\PP(X_1>t)=e^{-\lambda t}\), iar pentru \(n=2\) la \(\PP(S_2>t)=e^{-\lambda t}(1+\lambda t)\), complementul funcției de repartiție \(1-e^{-\lambda t}-\lambda te^{-\lambda t}\) calculate direct în Exemplul 16(b). În practică, corolarul transformă o integrală într-o sumă finită, care se poate calcula de mână. De exemplu, pentru cele trei becuri din Exemplul 17(c), cu \(\lambda=1/1.28\) și \(t=2\) (deci \(\lambda t=1.5625\)), probabilitatea ca timpul total de funcționare să depășească \(2\,000\) de ore este \[ \PP(S_3>2)=e^{-1.5625}\Big(1+1.5625+\frac{1.5625^2}{2}\Big)\approx0.2096\cdot3.7832\approx0.7930 . \]

Exemplul 20 (Becurile: calcule exacte)

Revenim la Exemplul 4, cu \(n=10\).

  1. Dacă \(\mu=1.28\), adică \(\lambda=1/1.28\), care este probabilitatea ca media a 10 timpi de funcționare să fie sub \(1\) (mie de ore)? Din Propoziția 12(c), \(S_{10}\sim\GammaD(10,\lambda)\). Cum \(\Xbar=S_{10}/10\), avem \(\{\Xbar<1\}=\{S_{10}<10\}\), iar \(S_{10}\) fiind continuă, \(\PP(S_{10}<10)=\PP(S_{10}\le10)=1-\PP(S_{10}>10)\). Din Corolarul 14, cu \(t=10\) și \(\lambda t=10/1.28=7.8125\), \[ \PP(\Xbar<1)=\PP(S_{10}<10)=1-\sum_{k=0}^{9}e^{-7.8125}\frac{7.8125^k}{k!}\approx1-0.7396=0.2604 . \] (Suma are zece termeni: primul este \(e^{-7.8125}\approx0.000405\), iar fiecare dintre următorii se obține din precedentul prin înmulțire cu \(7.8125/k\); în R, suma este ppois(9, 7.8125).) Simularea din Secțiunea 4 dăduse o valoare apropiată, cu eroarea standard Monte Carlo \(\approx0.0044\). Aproximarea normală din TLC (Teorema 64 din Cursul 1; pentru repartiția exponențială abaterea standard este egală cu media, \(\sigma=1/\lambda=\mu=1.28\), deci \(\Xbar\) are abaterea standard \(1.28/\sqrt{10}\)), \(\Phi\big((1-1.28)/(1.28/\sqrt{10})\big)=\Phi(-0.692)\approx0.2445\), este vizibil mai slabă: pentru \(n=10\) repartiția lui \(\Xbar\) este încă asimetrică (Figura 4).

  2. Întrebarea (c) din Exemplul 4: dacă afirmația producătorului ar fi adevărată la limită, \(\mu=1.5\) (\(\lambda=2/3\)), cât de probabilă ar fi o medie observată de cel mult \(1.28\)? Cu \(\lambda t=12.8\cdot\frac23\approx8.533\), \[ \PP_{\mu=1.5}(\Xbar\le1.28)=\PP(S_{10}\le12.8)=1-\sum_{k=0}^{9}e^{-8.533}\frac{8.533^k}{k!}\approx0.3514 . \] O medie la fel de mică sau mai mică apare în aproximativ \(35\%\) din experimente chiar dacă \(\mu=1.5\): datele nu contrazic afirmația producătorului. Pentru \(\mu>1.5\) probabilitatea este mai mică: cum \(\Xbar/\mu=\lambda\Xbar\sim\GammaD(10,10)\) (observația de după Propoziția 12), \(\PP_\mu(\Xbar\le1.28)=G(1.28/\mu)\), unde \(G\) este funcția de repartiție a lui \(\GammaD(10,10)\), crescătoare. Dintre valorile compatibile cu afirmația, \(\mu=1.5\) este deci cea mai favorabilă datelor, iar faptul că ea le explică rezonabil este suficient pentru a nu respinge afirmația (Cursul 14). Comparați cu Exemplul 2, unde probabilitatea analogă era \(0.02\).

c(i_gamma   = pgamma(1, shape = 10, rate = 10 / 1.28), # Gamma(n, n*lambda)
  i_poisson = 1 - ppois(9, 10 / 1.28),                 # Corolarul
  i_TLC     = pnorm((1 - 1.28) / (1.28 / sqrt(10))),
  ii_gamma  = pgamma(1.28, shape = 10, rate = 10 / 1.5),
  ii_poisson = 1 - ppois(9, 12.8 / 1.5))
#>    i_gamma  i_poisson      i_TLC   ii_gamma ii_poisson 
#>     0.2604     0.2604     0.2445     0.3514     0.3514

Primele două valori sunt probabilitatea de la (i), calculată cu funcția de repartiție a lui \(\Xbar\sim\GammaD(10,10\lambda)\) și, respectiv, cu suma Poisson din corolar: ambele dau \(0.2604\). A treia este aproximarea normală, \(0.2445\), care subestimează probabilitatea din coada stângă. Ultimele două sunt probabilitatea de la (ii), \(0.3514\), din nou prin ambele formule. Parametrizarea din R (shape, rate) coincide cu \(\GammaD(\alpha,\lambda)\).

5.4 Minimul și maximul unui eșantion

Pe lângă sume, cele mai simple statistici sunt minimul și maximul eșantionului, \(X_{(1)}=\min_iX_i\) și \(X_{(n)}=\max_iX_i\). Repartiția lor se obține dintr-o observație elementară: maximul este cel mult \(x\) exact când toate observațiile sunt cel mult \(x\), iar minimul depășește \(x\) exact când toate observațiile depășesc \(x\) (Hogg et al. 2019, sec. 4.4).

Propoziția 15 (Repartiția minimului și a maximului)

Fie \(X_1,\dots,X_n\) un eșantion din populația cu funcția de repartiție \(F\). Atunci, pentru orice \(x\in\R\), \[ F_{X_{(n)}}(x)=F(x)^n,\qquad F_{X_{(1)}}(x)=1-\big(1-F(x)\big)^n . \] Dacă \(F\) are densitatea \(f\) (continuă pe un interval ce conține suportul), atunci \(f_{X_{(n)}}=nF^{n-1}f\) și \(f_{X_{(1)}}=n(1-F)^{n-1}f\). În particular:

  1. dacă \(X_i\sim\Exp(\lambda)\), atunci \(X_{(1)}\sim\Exp(n\lambda)\) și \(nX_{(1)}\sim\Exp(\lambda)\);

  2. dacă \(X_i\sim\Unif(0,\theta)\), atunci \(F_{X_{(n)}}(x)=(x/\theta)^n\) și \(f_{X_{(n)}}(x)=nx^{n-1}/\theta^n\) pentru \(x\in[0,\theta]\).

Demonstrație. Pasul 1 (funcțiile de repartiție). Fie \(x\in\R\). Cel mai mare dintre numerele \(X_1,\dots,X_n\) este \(\le x\) dacă și numai dacă fiecare dintre ele este \(\le x\), iar cel mai mic este \(>x\) dacă și numai dacă fiecare dintre ele este \(>x\); avem deci egalitățile de evenimente \(\{X_{(n)}\le x\}=\bigcap_{i=1}^n\{X_i\le x\}\) și \(\{X_{(1)}>x\}=\bigcap_{i=1}^n\{X_i>x\}\). Din independență (Definiția 37 din Cursul 1, aplicată borelienelor \((-\infty,x]\), respectiv \((x,\infty)\)) și din faptul că toate \(X_i\) au funcția de repartiție \(F\), \[ F_{X_{(n)}}(x)=\prod_{i=1}^n\PP(X_i\le x)=F(x)^n,\qquad \PP(X_{(1)}>x)=\prod_{i=1}^n\PP(X_i>x)=\big(1-F(x)\big)^n, \] deci \(F_{X_{(1)}}(x)=1-\PP(X_{(1)}>x)=1-\big(1-F(x)\big)^n\). (Este cazul i.i.d. al Propoziției 51 din Cursul 1.)

Pasul 2 (densitățile). Ipoteza este că \(f\) este continuă pe un interval \(I\) cu capetele \(a<b\) (\(-\infty\le a\), \(b\le\infty\)) și nulă în afara lui. Scriem demonstrația pentru maxim; fie \(G=F^n\) funcția lui de repartiție și \(g=nF^{n-1}f\) pe \((a,b)\), \(g=0\) în rest. Trebuie arătat că \(G(x)=\int_{-\infty}^xg(t)\dd t\) pentru orice \(x\in\R\) (Definiția 15 din Cursul 1). Cum \(F(x)=\int_{-\infty}^xf(t)\dd t\) și \(f\) este continuă pe \((a,b)\), din teorema fundamentală a calculului integral \(F\) este derivabilă pe \((a,b)\), cu \(F'=f\); atunci \(G=F^n\) este derivabilă pe \((a,b)\), cu \(G'=nF^{n-1}f=g\), funcție continuă, iar din formula Leibniz–Newton, pentru \(a<x_0<x<b\), \[ G(x)-G(x_0)=\int_{x_0}^xg(t)\dd t . \] Funcția \(F\) este continuă pe \(\R\), ca integrală cu limita superioară variabilă, iar \(F(x_0)\to0\) când \(x_0\downarrow a\): dacă \(a\) este finit, \(F(a)=\int_{-\infty}^af(t)\dd t=0\) (\(f\) este nulă la stânga lui \(a\)), iar dacă \(a=-\infty\), aceasta este limita lui \(F\) la \(-\infty\) (Propoziția 14 din Cursul 1). Deci \(G(x_0)=F(x_0)^n\to0\) și, pentru \(x\in(a,b)\), \(G(x)=\int_a^xg(t)\dd t=\int_{-\infty}^xg(t)\dd t\). Pentru \(x\le a\) (dacă \(a\) este finit), \(F(x)=0\), deci \(G(x)=0=\int_{-\infty}^xg(t)\dd t\). Pentru \(x\ge b\) (dacă \(b\) este finit), \(F(x)=1\), deci \(G(x)=1\); pe de altă parte, \(G\) fiind continuă în \(b\), \(1=G(b)=\lim_{y\uparrow b}G(y)=\int_a^bg(t)\dd t=\int_{-\infty}^xg(t)\dd t\). Așadar \(g=nF^{n-1}f\) este o densitate a lui \(X_{(n)}\). Pentru minim raționamentul este același, cu \(G_1=1-(1-F)^n\) în locul lui \(G\) și \(g_1=n(1-F)^{n-1}f\) în locul lui \(g\): pe \((a,b)\), \(G_1'=-n(1-F)^{n-1}\cdot(-F')=g_1\); când \(x_0\downarrow a\), \(G_1(x_0)\to1-1=0\); pentru \(x\le a\), \(G_1(x)=0\), iar pentru \(x\ge b\), \(G_1(x)=1\).

Pasul 3 (cazurile particulare). (a) Pentru \(\Exp(\lambda)\), \(F(x)=1-e^{-\lambda x}\) pentru \(x\ge0\) și \(F(x)=0\) pentru \(x<0\). Din Pasul 1, pentru \(x\ge0\), \(\PP(X_{(1)}>x)=(e^{-\lambda x})^n=e^{-n\lambda x}\), iar pentru \(x<0\), \(\PP(X_{(1)}>x)=1\); deci \(F_{X_{(1)}}(x)=1-e^{-n\lambda x}\) pentru \(x\ge0\) și \(0\) în rest, funcția de repartiție a lui \(\Exp(n\lambda)\): \(X_{(1)}\sim\Exp(n\lambda)\). Apoi, pentru \(x\ge0\), \(\PP(nX_{(1)}>x)=\PP(X_{(1)}>x/n)=e^{-n\lambda x/n}=e^{-\lambda x}\), deci \(nX_{(1)}\sim\Exp(\lambda)\). (b) Pentru \(\Unif(0,\theta)\) și \(x\in[0,\theta]\), \(F(x)=\int_0^x\frac1\theta\dd t=x/\theta\) și \(f(x)=1/\theta\), deci, din Pasul 1, \(F_{X_{(n)}}(x)=(x/\theta)^n\), iar din Pasul 2, \(f_{X_{(n)}}(x)=n(x/\theta)^{n-1}\cdot\frac1\theta=\frac{nx^{n-1}}{\theta^n}\) (și \(f_{X_{(n)}}=0\) în afara lui \([0,\theta]\)).■

Exemplul 21 (Minimul și maximul a trei observații uniforme)

Fie \(X_1,X_2,X_3\) un eșantion din \(\Unif(0,1)\), cu \(F(x)=x\) și \(f(x)=1\) pe \([0,1]\). Din Propoziția 15, pentru \(x\in[0,1]\), \[ F_{X_{(3)}}(x)=x^3,\quad f_{X_{(3)}}(x)=3x^2,\qquad F_{X_{(1)}}(x)=1-(1-x)^3,\quad f_{X_{(1)}}(x)=3(1-x)^2 . \] Formulele se citesc direct: maximul este cel mult \(\frac12\) numai dacă toate cele trei observații sunt cel mult \(\frac12\), deci \(\PP(X_{(3)}\le\frac12)=(\frac12)^3=\frac18\); la fel, \(\PP(X_{(1)}>\frac12)=\frac18\). Maximul este „împins” spre \(1\), iar minimul spre \(0\): \(\PP(X_{(3)}>0.9)=1-0.9^3=0.271\), deși o singură observație depășește \(0.9\) doar cu probabilitatea \(0.1\). Mediile sunt \[ \E[X_{(3)}]=\int_0^1x\cdot3x^2\dd x=\frac34,\qquad \E[X_{(1)}]=\int_0^1\big(3x-6x^2+3x^3\big)\dd x=\frac32-2+\frac34=\frac14 , \] unde am dezvoltat \(x\cdot3(1-x)^2=3x-6x^2+3x^3\). Rezultatele sunt în acord cu simetria: variabilele \(1-X_i\) sunt tot uniforme pe \([0,1]\), iar \(\min_i(1-X_i)=1-X_{(3)}\). Cele trei puncte împart intervalul \([0,1]\) în patru bucăți; prima și ultima au, în medie, lungimea \(\frac14\).

Pentru \(X_{(k)}\) cu \(1<k<n\) evenimentul \(\{X_{(k)}\le x\}\) nu mai este o intersecție, ci „cel puțin \(k\) observații sunt \(\le x\)”; statisticile de ordine în general sunt studiate în Cursul 6. Formulele de mai sus se aplică la fel de bine populațiilor discrete (prima parte a propoziției nu presupune existența unei densități) și au interpretări naturale în teoria fiabilității.

Exemplul 22 (Sisteme în serie și în paralel. Minimul unor variabile geometrice)
  1. Sistem în serie. Un sistem de \(n\) componente independente \(\Exp(\lambda)\) legate în serie se defectează la prima defectare a unei componente, deci funcționează un timp \(X_{(1)}\sim\Exp(n\lambda)\) (Propoziția 15(a)), de medie \(1/(n\lambda)\). Pentru becurile din Exemplul 4, dacă \(\mu=1.28\), adică \(\lambda=1/1.28\), un sistem în serie de 10 becuri funcționează în medie \(1/(10\lambda)=1.28/10=0.128\) mii de ore (\(128\) de ore), iar probabilitatea ca el să funcționeze peste \(100\) de ore (\(0.1\) mii de ore) este \(\PP(X_{(1)}>0.1)=e^{-10\lambda\cdot0.1}=e^{-1/1.28}=e^{-0.78125}\approx0.458\).

  2. Sistem în paralel. Dacă aceleași componente sunt legate în paralel, sistemul funcționează până la ultima defectare, deci \(Y=X_{(n)}\) are funcția de repartiție \(F_Y(y)=(1-e^{-\lambda y})^n\), \(y\ge0\), și densitatea \(f_Y=F_Y'\) (Propoziția 15). Pentru media lui integrăm prin părți (derivăm factorul \(y\) și alegem pentru \(f_Y(y)\) primitiva \(-(1-F_Y(y))\)): \[ \E[Y]=\int_0^\infty yf_Y(y)\dd y=\Big[-y\big(1-F_Y(y)\big)\Big]_0^\infty+\int_0^\infty\big(1-F_Y(y)\big)\dd y=\int_0^\infty\PP(Y>y)\dd y ; \] termenul integrat este nul, deoarece, din inegalitatea lui Bernoulli \((1-a)^n\ge1-na\) (\(0\le a\le1\)) cu \(a=e^{-\lambda y}\), \(0\le y\big(1-F_Y(y)\big)\le n\,ye^{-\lambda y}\to0\) când \(y\to\infty\). Calculăm integrala cu schimbarea de variabilă \(u=1-e^{-\lambda x}\): \(\dd u=\lambda e^{-\lambda x}\dd x=\lambda(1-u)\dd x\), iar când \(x\) parcurge \((0,\infty)\), \(u\) parcurge \((0,1)\): \[ \begin{aligned} \E[X_{(n)}]&=\int_0^\infty\big(1-(1-e^{-\lambda x})^n\big)\dd x=\frac1\lambda\int_0^1\frac{1-u^n}{1-u}\dd u=\frac1\lambda\int_0^1\sum_{k=0}^{n-1}u^k\dd u\\ &=\frac1\lambda\sum_{k=0}^{n-1}\Big[\frac{u^{k+1}}{k+1}\Big]_0^1=\frac1\lambda\sum_{k=0}^{n-1}\frac1{k+1}=\frac1\lambda\sum_{k=1}^{n}\frac1k , \end{aligned} \] unde am folosit suma progresiei geometrice \(\frac{1-u^n}{1-u}=1+u+\dots+u^{n-1}\). Media crește doar logaritmic cu \(n\): pentru 10 becuri cu \(\mu=1.28\), \(\E[X_{(10)}]=1.28\cdot(1+\frac12+\dots+\frac1{10})\approx1.28\cdot2.929\approx3.749\) mii de ore.

  3. Minimul unor variabile geometrice. Dacă \(X_i\sim\Geom(p)\) și \(q=1-p\), atunci, pentru \(k\in\N\), \(\PP(X_i>k)=\sum_{j\ge k+1}pq^{j-1}=pq^k\sum_{l\ge0}q^l=q^k\) (primele \(k\) încercări sunt eșecuri), deci, din Propoziția 15 (prima parte, valabilă pentru orice populație), \(\PP(X_{(1)}>k)=\prod_{i=1}^n\PP(X_i>k)=(1-p)^{nk}=\rho^k\), unde \(\rho=(1-p)^n\). Pentru \(k\ge1\) obținem \(\PP(X_{(1)}=k)=\PP(X_{(1)}>k-1)-\PP(X_{(1)}>k)=\rho^{k-1}-\rho^{k}=(1-\rho)\,\rho^{k-1}\), funcția de masă a repartiției geometrice de parametru \(1-\rho\): \(X_{(1)}\sim\Geom\big(1-(1-p)^n\big)\). Interpretare: la fiecare „rundă” se efectuează simultan câte o încercare pentru fiecare dintre cele \(n\) variabile, iar runda este un succes dacă cel puțin una reușește, ceea ce se întâmplă cu probabilitatea \(1-(1-p)^n\). Pentru \(n=5\) și \(p=0.2\), \(X_{(1)}\sim\Geom(0.67232)\), cu media \(1/0.67232\approx1.487\).

6 Primii estimatori, primele întrebări

Putem acum formula precis noțiunea care va domina următoarele cursuri.

Definiția 16 (Estimator și estimație)

Fie \(X_1,\dots,X_n\) un eșantion dintr-un model \(\{F_\theta\}_{\theta\in\Theta}\) și \(g:\Theta\to\R^k\) o funcție de parametru. Un estimator al lui \(g(\theta)\) este o statistică \(T_n=h(X_1,\dots,X_n)\) cu valori într-o mulțime ce conține \(g(\Theta)\), folosită pentru a aproxima \(g(\theta)\). Valoarea \(h(x_1,\dots,x_n)\) calculată pe datele observate se numește estimație (valoare estimată).

Definiția nu cere nimic despre „calitatea” estimatorului: \(T_n=2022\) este un estimator (foarte prost) al oricărui parametru real. Estimatorul este o variabilă aleatoare, estimația un număr; calitatea unui estimator se judecă prin repartiția lui, calculată sub fiecare \(\PP_\theta\) — deci pentru toate valorile posibile ale parametrului, nu doar pentru cea adevărată (necunoscută). Două mărimi rezumă cel mai simplu această repartiție: media \(\E_\theta[T_n]\), pe care am dori-o egală cu \(g(\theta)\), și eroarea pătratică medie \(\E_\theta[(T_n-g(\theta))^2]\), pe care am dori-o cât mai mică. Ele sunt legate printr-o identitate simplă (pentru un estimator real, \(k=1\), cu \(\E_\theta[T_n^2]<\infty\)). Notăm \(m=\E_\theta[T_n]\) și \(b=m-g(\theta)\), două constante; adunând și scăzând \(m\) și dezvoltând pătratul, \[ \begin{aligned} \E_\theta\big[(T_n-g(\theta))^2\big]&=\E_\theta\big[\big((T_n-m)+b\big)^2\big]=\E_\theta\big[(T_n-m)^2\big]+2b\,\E_\theta[T_n-m]+b^2\\ &=\Var_\theta(T_n)+\big(\E_\theta[T_n]-g(\theta)\big)^2 , \end{aligned} \] deoarece, din liniaritatea mediei, \(\E_\theta[T_n-m]=\E_\theta[T_n]-m=0\), iar \(\E_\theta[(T_n-m)^2]=\Var_\theta(T_n)\) prin definiție. (Identitatea este cea din Propoziția 25 din Cursul 1, aplicată variabilei \(T_n\) și constantei \(c=g(\theta)\).) Pentru un estimator cu media egală cu \(g(\theta)\) (vom spune nedeplasat, Cursul 7), eroarea pătratică medie este chiar varianța.

Înainte de exemple, să fixăm pe un caz concret cuvintele din definiție. Pentru datele din Exemplul 4, estimatorul \(\Xbar\) al timpului mediu de funcționare \(\mu\) este o regulă („adună observațiile și împarte la \(n\)”), aplicabilă oricărui eșantion; estimația este numărul \(\bar x_{10}=1.28\) obținut aplicând regula celor zece valori observate. Un alt eșantion de zece becuri ar da o altă estimație, cu aceeași regulă.

Exemplul 23 (Doi estimatori ai timpului mediu de funcționare)

În modelul exponențial al Exemplului 4, cu \(\mu=1/\lambda\), considerăm estimatorii \[ T_n^{(1)}=\Xbar,\qquad T_n^{(2)}=n\,X_{(1)} . \] Estimațiile. Pe cele zece valori observate, \(T_{10}^{(1)}=\frac{12.80}{10}=1.28\) și \(T_{10}^{(2)}=10\cdot0.12=1.2\) (cel mai mic timp observat este \(0.12\)).

Media și varianța. Din observația de după Propoziția 12, \(\Xbar\sim\GammaD(n,n\lambda)\), deci \[ \E_\lambda[T_n^{(1)}]=\frac{n}{n\lambda}=\frac1\lambda=\mu,\qquad \Var_\lambda(T_n^{(1)})=\frac{n}{(n\lambda)^2}=\frac{1}{n\lambda^2}=\frac{\mu^2}{n}. \] Din Propoziția 15(a), \(T_n^{(2)}=nX_{(1)}\sim\Exp(\lambda)\), deci, cu media și varianța repartiției exponențiale (Exemplul 16 din Cursul 1), \[ \E_\lambda[T_n^{(2)}]=\frac1\lambda=\mu,\qquad \Var_\lambda(T_n^{(2)})=\frac1{\lambda^2}=\mu^2 . \] Ambii estimatori au, pentru orice \(\lambda\), media egală cu parametrul estimat, deci eroarea pătratică medie egală cu varianța; dar varianța lui \(T_n^{(2)}\) este de \(n\) ori mai mare și nu scade când \(n\) crește: \(T_n^{(2)}\) are repartiția unei singure observații, oricât de mare ar fi eșantionul.

O comparație mai concretă. Calculăm probabilitatea unei erori relative de cel mult \(20\%\). Din observația citată, \(\Xbar/\mu=\lambda\Xbar\sim\GammaD(n,n)\). Apoi, dacă \(Y\sim\Exp(\lambda)\), atunci \(\PP(\lambda Y>x)=\PP(Y>x/\lambda)=e^{-\lambda\cdot x/\lambda}=e^{-x}\) pentru \(x\ge0\), deci \(\lambda Y\sim\Exp(1)\); cu \(Y=nX_{(1)}\), \(nX_{(1)}/\mu=\lambda\,nX_{(1)}\sim\Exp(1)\). Niciuna dintre cele două repartiții nu depinde de \(\mu\). Împărțind inegalitatea \(|T-\mu|\le0.2\mu\) la \(\mu>0\) obținem \(0.8\le T/\mu\le1.2\), deci, pentru \(n=10\), \[ \begin{aligned} \PP(|\Xbar-\mu|\le0.2\mu)&=\PP\big(0.8\le\Xbar/\mu\le1.2\big)=G(1.2)-G(0.8)\\ &\approx0.7576-0.2834=0.4742,\\ \PP(|nX_{(1)}-\mu|\le0.2\mu)&=\PP\big(0.8\le nX_{(1)}/\mu\le1.2\big)=e^{-0.8}-e^{-1.2}\\ &\approx0.4493-0.3012=0.1481, \end{aligned} \] unde \(G\) este funcția de repartiție a lui \(\GammaD(10,10)\) (calculată cu pgamma sau, din Corolarul 14, \(G(x)=1-\sum_{k=0}^{9}e^{-10x}(10x)^k/k!\)). Media se află la cel mult \(20\%\) de \(\mu\) aproape o dată din două, iar \(nX_{(1)}\) doar o dată din șapte; pe datele noastre cele două estimații, \(1.28\) și \(1.2\), erau apropiate, dar din întâmplare.

Situația se poate inversa: în modelele în care parametrul este o margine a suportului, statisticile extreme sunt mult mai informative decât media.

Exemplul 24 (Doi estimatori în modelul uniform)

Fie \(X_1,\dots,X_n\) un eșantion din \(\Unif(0,\theta)\), \(\theta>0\), cu densitatea \(\frac1\theta\) pe \([0,\theta]\). Media și varianța unei observații sunt \[ \E_\theta[X_1]=\int_0^\theta\frac x\theta\dd x=\frac\theta2,\qquad \E_\theta[X_1^2]=\int_0^\theta\frac{x^2}\theta\dd x=\frac{\theta^2}3, \] deci \(\Var_\theta(X_1)=\frac{\theta^2}3-\frac{\theta^2}4=\frac{\theta^2}{12}\). Cum \(\theta=2\E_\theta[X_1]\), un prim estimator este \(T_n^{(1)}=2\Xbar\); al doilea pornește de la maximul \(X_{(n)}\), în care este concentrată informația despre \(\theta\) (Exemplul 13(e)).

Media dublă. Din Corolarul 43 din Cursul 1, \(\E_\theta[\Xbar]=\frac\theta2\) și \(\Var_\theta(\Xbar)=\frac{\theta^2}{12n}\), deci \(\E_\theta[2\Xbar]=2\cdot\frac\theta2=\theta\) și \(\Var_\theta(2\Xbar)=4\cdot\frac{\theta^2}{12n}=\frac{\theta^2}{3n}\).

Maximul. Din Propoziția 15(b), \(X_{(n)}\) are densitatea \(nx^{n-1}/\theta^n\) pe \([0,\theta]\), deci, din formula de transport, \[ \begin{aligned} \E_\theta[X_{(n)}]&=\int_0^\theta x\cdot\frac{nx^{n-1}}{\theta^n}\dd x=\frac{n}{\theta^n}\int_0^\theta x^n\dd x=\frac{n}{\theta^n}\cdot\frac{\theta^{n+1}}{n+1}=\frac{n\theta}{n+1},\\ \E_\theta[X_{(n)}^2]&=\int_0^\theta x^2\cdot\frac{nx^{n-1}}{\theta^n}\dd x=\frac{n}{\theta^n}\int_0^\theta x^{n+1}\dd x=\frac{n}{\theta^n}\cdot\frac{\theta^{n+2}}{n+2}=\frac{n\theta^2}{n+2}. \end{aligned} \] Maximul subestimează sistematic \(\theta\) (firesc, \(X_{(n)}<\theta\) a.s.), dar corecția \(T_n^{(2)}=\frac{n+1}{n}X_{(n)}\) are media \(\frac{n+1}n\cdot\frac{n\theta}{n+1}=\theta\). Varianța maximului este, cu \((n+1)^2-n(n+2)=n^2+2n+1-n^2-2n=1\), \[ \Var_\theta(X_{(n)})=\frac{n\theta^2}{n+2}-\frac{n^2\theta^2}{(n+1)^2}=\frac{n\theta^2\big((n+1)^2-n(n+2)\big)}{(n+1)^2(n+2)}=\frac{n\theta^2}{(n+1)^2(n+2)}, \] deci \(\Var_\theta(T_n^{(2)})=\frac{(n+1)^2}{n^2}\Var_\theta(X_{(n)})=\frac{(n+1)^2}{n^2}\cdot\frac{n\theta^2}{(n+1)^2(n+2)}=\frac{\theta^2}{n(n+2)}\).

Comparația. Ambii estimatori au media \(\theta\), iar raportul varianțelor este \(\frac{\theta^2/(3n)}{\theta^2/(n(n+2))}=\frac{n+2}{3}\): pentru \(n=10\), varianța lui \(2\Xbar\) este de \(4\) ori mai mare, iar pentru \(n=100\), de \(34\) de ori. Varianța lui \(T_n^{(2)}\) scade ca \(1/n^2\), nu ca \(1/n\): maximul „simte” direct marginea suportului. Mai mult, \(2\Xbar\) poate da estimații absurde: dacă \(2\bar x_n<x_{(n)}\), estimația lui \(\theta\) este mai mică decât o valoare observată, deși toate observațiile sunt cel mult \(\theta\).

Pe două seturi mici de date. Pentru \(n=5\) și observațiile \(1.2,\ 4.6,\ 0.7,\ 3.1,\ 2.4\) (suma \(12.0\), maximul \(4.6\)), estimațiile sunt \(2\bar x_5=2\cdot\frac{12.0}{5}=4.8\) și \(\frac65x_{(5)}=1.2\cdot4.6=5.52\). Pentru observațiile \(0.3,\ 0.5,\ 4.6,\ 0.9,\ 0.2\) (suma \(6.5\), același maxim), a doua estimație rămâne \(5.52\), dar prima devine \(2\cdot\frac{6.5}{5}=2.6\) — o valoare imposibilă, de vreme ce am observat \(4.6\le\theta\). Media dublă „nu vede” că o observație mare exclude valorile mici ale lui \(\theta\).

Și maximul necorectat? Estimatorul \(X_{(n)}\) nu are media \(\theta\): diferența este \(\E_\theta[X_{(n)}]-\theta=\frac{n\theta}{n+1}-\theta=-\frac{\theta}{n+1}\). Din descompunerea erorii pătratice medii (varianța plus pătratul acestei diferențe), \[ \E_\theta\big[(X_{(n)}-\theta)^2\big]=\frac{n\theta^2}{(n+1)^2(n+2)}+\frac{\theta^2}{(n+1)^2}=\frac{\theta^2\big(n+(n+2)\big)}{(n+1)^2(n+2)}=\frac{2\theta^2}{(n+1)(n+2)} . \] Pentru \(\theta=5\) și \(n=10\) obținem \(\frac{50}{132}\approx0.379\), față de \(\frac{25}{120}\approx0.208\) pentru maximul corectat și \(\frac{25}{30}\approx0.833\) pentru media dublă: corecția aproape înjumătățește eroarea pătratică medie, iar chiar maximul necorectat este de peste două ori mai precis decât media dublă.

Verificare prin simulare, pe \(10\,000\) de eșantioane de volum \(10\) din \(\Unif(0,5)\):

set.seed(26)
theta <- 5; n <- 10
sim <- replicate(10000, { x <- runif(n, 0, theta)
                          c(dublu_medie = 2 * mean(x),
                            max_corectat = (n + 1) / n * max(x),
                            absurd = 2 * mean(x) < max(x)) })
rbind(media = rowMeans(sim[1:2, ]), varianta = apply(sim[1:2, ], 1, var),
      teoretic = c(theta^2 / (3 * n), theta^2 / (n * (n + 2))))
mean(sim["absurd", ])      # frecvența estimațiilor absurde ale lui 2 * Xbar
#>          dublu_medie max_corectat
#> media         5.0157       5.0084
#> varianta      0.8428       0.2032
#> teoretic      0.8333       0.2083
#> [1] 0.2799

Pe fiecare eșantion simulat am calculat cei doi estimatori și am notat dacă estimația \(2\bar x_n\) este absurdă. Mediile simulate (\(5.016\) și \(5.008\)) sunt apropiate de \(\theta=5\), iar varianțele simulate (\(0.843\) și \(0.203\)) de valorile teoretice \(25/30\approx0.833\) și \(25/120\approx0.208\) din linia a treia. Ultimul număr, \(0.2799\), este frecvența estimațiilor absurde: în peste un sfert dintre eșantioane media dublă este mai mică decât maximul observat. Figura 5 arată cele două repartiții de eșantionare, aproximate prin valorile simulate: ambele sunt centrate în \(\theta\), dar cea a maximului corectat este mult mai concentrată.

Arată codul R
h <- function(v, titlu)                # histograma valorilor simulate
  ggplot(data.frame(v = v), aes(v)) +
    geom_histogram(aes(y = after_stat(density)), bins = 45,
                   fill = culori[["albastru"]], colour = "white", alpha = 0.7) +
    geom_vline(xintercept = theta, linetype = 2, colour = culori[["rosu"]]) +
    coord_cartesian(xlim = c(2, 8), ylim = c(0, 1.9)) +
    labs(title = titlu, x = "estimație", y = "densitate")
h(sim["dublu_medie", ], "de două ori media") +
  h(sim["max_corectat", ], "maximul corectat")
Figura 5: Repartițiile de eșantionare ale estimatorilor \(2\bar X_n\) (stânga) și \(\frac{n+1}{n}X_{(n)}\) (dreapta) ai parametrului \(\theta=5\) al modelului \(\mathrm{Unif}(0,\theta)\), pentru \(n=10\): histogramele a \(10\,000\) de valori simulate. Linia întreruptă marchează \(\theta\).

Exemplele de astăzi ridică întrebările la care vom răspunde în restul semestrului.

  1. Ce este un estimator bun? Nedeplasare, eroare pătratică medie, consistență, normalitate asimptotică (Cursul 7); exemplele de mai sus arată că nedeplasarea singură nu este suficientă.
  2. Cum construim estimatori? Metoda momentelor (Cursul 8) — \(2\Xbar\) din Exemplul 24 este un estimator de acest tip — și metoda verosimilității maxime (Cursul 9); verosimilitatea a apărut deja în Figura 1 și în Propoziția 10.
  3. Există un estimator optim? Statistici suficiente, informația lui Fisher, inegalitatea Rao–Cramér (Cursul 7, Cursul 10, Cursul 11).
  4. Cât de precisă este o estimare și cum luăm decizii? Intervale de încredere (Cursul 12, Cursul 13) și teste de ipoteze (Cursul 14), care generalizează calculele din Exemplele 2 și 20 și folosesc cantități pivotale ca în Exemplul 18.
  5. Ce facem când repartiția unei statistici nu se poate calcula? Repartițiile exacte pentru populații normale (Cursul 5), rezultate asimptotice (Cursul 6) și simulare (Cursul 4); pentru simulare avem nevoie, mai întâi, de existența șirurilor de variabile aleatoare independente (Cursul 3).

7 Exerciții rezolvate

Exercițiile următoare reiau, pe situații noi, noțiunile cursului: construirea unui model și identificabilitatea (Exercițiile 1 și 3), repartiția exactă a unor statistici și primii estimatori (Exercițiul 2), compararea repartiției exacte a unei proporții cu aproximarea ei normală (Exercițiul 4). În fiecare rezolvare spunem întâi ce se cere și ce rezultat folosim, apoi facem calculul.

Exercițiul 1 (Modelul statistic pentru controlul unui lot)

Un lot conține \(N=50\) de piese, dintre care un număr necunoscut \(D\) sunt defecte. Se extrag la întâmplare \(n=5\) piese și se notează numărul \(X\) de piese defecte. (a) Descrieți modelul statistic dacă extragerea se face fără revenire, respectiv cu revenire. (b) Este modelul identificabil? (c) Calculați, în ambele modele, probabilitatea ca eșantionul să nu conțină nicio piesă defectă, dacă \(D=5\), precum și varianța lui \(X\).

Soluție

Ce se cere și ce folosim. La (a) trebuie precizate, pentru fiecare schemă de extragere, spațiul stărilor, spațiul parametrilor și familia de probabilități (Definiția 1); totul se reduce la numărarea unor cazuri egal probabile, ca în Exemplul 6. La (b) folosim criteriul din Lema 6, cu media drept mărime \(\Psi\). La (c) calculăm o probabilitate și o varianță în fiecare model.

  1. Numerotăm piesele \(1,\dots,50\); parametrul este \(D\), iar observația \(X\). Fără revenire. Rezultatul extragerii este mulțimea (neordonată) a pieselor extrase, deci spațiul stărilor poate fi luat \[ \Omega=\{A\subseteq\{1,\dots,50\}:\ |A|=5\},\qquad |\Omega|=\binom{50}{5}=2\,118\,760,\qquad \F=\mathcal{P}(\Omega). \] Parametrul este \(D\in\Theta=\{0,1,\dots,50\}\). Extragerea „la întâmplare” înseamnă că toate submulțimile de 5 piese sunt egal probabile, deci \(\PP_D\) este probabilitatea uniformă pe \(\Omega\) (definiția clasică); ceea ce depinde de \(D\) este variabila observată. Fără a restrânge generalitatea (piesele pot fi renumerotate), presupunem că piesele defecte sunt \(1,\dots,D\). Atunci \(X(A)=|A\cap\{1,\dots,D\}|\). Pentru a număra submulțimile \(A\) cu \(X(A)=k\) alegem \(k\) piese dintre cele \(D\) defecte și \(5-k\) dintre cele \(50-D\) bune: \[ \PP_D(X=k)=\frac{\#\{A:\ X(A)=k\}}{|\Omega|}=\frac{\binom Dk\binom{50-D}{5-k}}{\binom{50}{5}},\qquad \max(0,D-45)\le k\le\min(5,D), \] adică \(X\sim\HGeom(50,D,5)\). (Condițiile asupra lui \(k\) exprimă faptul că nu putem extrage mai multe piese defecte decât există, nici mai multe piese bune decât cele \(50-D\) existente.) Modelul statistic al observației \(X\) este \(\big(\{0,\dots,5\},\mathcal{P}(\{0,\dots,5\}),\{\HGeom(50,D,5)\}_{D\in\Theta}\big)\).

Cu revenire. Rezultatul este succesiunea ordonată a pieselor extrase: \(\Omega=\{1,\dots,50\}^5\), \(|\Omega|=50^5\), \(\PP_D\) uniformă. Fie \(X_i=\Ind_{\{\text{piesa extrasă la pasul } i \text{ e defectă}\}}\). Evenimentul \(\{X_1=e_1,\dots,X_5=e_5\}\) conține \(D^{s}(50-D)^{5-s}\) secvențe, unde \(s=\sum_ie_i\) (la fiecare pas cu \(e_i=1\) alegem una dintre cele \(D\) piese defecte, la celelalte una dintre cele \(50-D\) bune), deci \[ \PP_D(X_1=e_1,\dots,X_5=e_5)=\frac{D^s(50-D)^{5-s}}{50^5}=\prod_{i=1}^5\Big(\frac D{50}\Big)^{e_i}\Big(1-\frac D{50}\Big)^{1-e_i}: \] exact ca în modelul urnei (Propoziția 2), variabilele \(X_i\) sunt i.i.d. \(\Bern(D/50)\), iar \(X=\sum_iX_i\sim\Bin(5,D/50)\).

  1. Arătăm că în ambele modele media lui \(X\) este \(\E_D[X]=\frac{D}{10}\). Cu revenire, \(X\sim\Bin(5,D/50)\) are media \(np=5\cdot\frac D{50}=\frac D{10}\) (Exemplul 16 din Cursul 1). Fără revenire, scriem \(X\) ca sumă de indicatori, câte unul pentru fiecare piesă defectă: \(X(A)=\sum_{j=1}^D\Ind_{\{j\in A\}}\). Submulțimile de 5 piese care conțin piesa \(j\) se obțin alegând celelalte 4 piese dintre cele 49 rămase, deci \[ \PP_D(j\in A)=\frac{\binom{49}{4}}{\binom{50}{5}}=\frac{49!}{4!\,45!}\cdot\frac{5!\,45!}{50!}=\frac{5}{50}=\frac1{10}, \] iar din liniaritatea mediei și \(\E[\Ind_B]=\PP(B)\) (Propoziția 23 din Cursul 1), \(\E_D[X]=\sum_{j=1}^D\PP_D(j\in A)=\frac D{10}\); aceasta este formula \(nK/N\) a mediei hipergeometrice. Media \(D/10\) este o funcție strict crescătoare de \(D\); dacă \(D_1\neq D_2\), repartițiile lui \(X\) au medii diferite, deci nu pot coincide: \(\PP_{D_1}\ne\PP_{D_2}\) (Lema 6, cu \(\Psi\) = media). Ambele modele sunt identificabile.

  2. Pentru \(D=5\), fără revenire, trebuie să extragem toate cele 5 piese dintre cele 45 bune: \[ \PP_5(X=0)=\frac{\binom50\binom{45}{5}}{\binom{50}{5}}=\frac{1\,221\,759}{2\,118\,760}\approx0.5766 . \] Același număr se obține extrăgând piesele una câte una: \(\frac{45}{50}\cdot\frac{44}{49}\cdot\frac{43}{48}\cdot\frac{42}{47}\cdot\frac{41}{46}\approx0.5766\) (după fiecare piesă bună extrasă, proporția pieselor bune rămase scade puțin). Cu revenire, fiecare extragere dă o piesă bună cu probabilitatea \(45/50=0.9\), independent de celelalte: \(\PP_5(X=0)=0.9^5=0.59049\). Diferența este mică, deoarece fracția de selecție \(5/50=10\%\) este mică.

    Varianțele. Cu revenire, \(X\sim\Bin(5,0.1)\) are \(\Var_5(X)=np(1-p)=5\cdot0.1\cdot0.9=0.45\). Fără revenire folosim din nou indicatorii \(I_j=\Ind_{\{j\in A\}}\), \(j=1,\dots,D\), de la (b), care nu sunt independenți. Fiecare este o variabilă Bernoulli de parametru \(\frac1{10}\), deci \(\Var(I_j)=\frac1{10}\cdot\frac9{10}=0.09\). Pentru \(j\ne l\), submulțimile care conțin ambele piese se obțin alegând celelalte 3 piese dintre cele 48 rămase, deci \[ \E[I_jI_l]=\PP_D(j\in A,\ l\in A)=\frac{\binom{48}{3}}{\binom{50}{5}}=\frac{48!}{3!\,45!}\cdot\frac{5!\,45!}{50!}=\frac{5\cdot4}{50\cdot49}=\frac{2}{245}, \] și \(\Cov(I_j,I_l)=\E[I_jI_l]-\E[I_j]\E[I_l]=\frac2{245}-\frac1{100}=\frac{40-49}{4900}=-\frac{9}{4900}\) (Propoziția 42 din Cursul 1). Din formula varianței unei sume (Propoziția 42 din Cursul 1), cu \(D\) varianțe și \(D(D-1)\) perechi ordonate \(j\ne l\), \[ \begin{aligned} \Var_D(X)&=D\cdot\frac{9}{100}-D(D-1)\cdot\frac{9}{4900}=\frac{9D\,\big(49-(D-1)\big)}{4900}=\frac{9D(50-D)}{4900}\\ &=5\cdot\frac D{50}\cdot\Big(1-\frac D{50}\Big)\cdot\frac{45}{49}, \end{aligned} \] adică formula varianței hipergeometrice \(n\frac KN\big(1-\frac KN\big)\frac{N-n}{N-1}\) cu \(N=50\), \(K=D\), \(n=5\) (cazul general este în Cursul 3). Pentru \(D=5\), \[ \Var_5(X)=5\cdot\frac{5}{50}\cdot\frac{45}{50}\cdot\frac{50-5}{50-1}=0.45\cdot\frac{45}{49}\approx0.4133 ; \] factorul de corecție \(\frac{N-n}{N-1}=\frac{45}{49}\approx0.918\) arată că varianța lui \(X\) este cu aproximativ \(8\%\) mai mică fără revenire, fenomen pe care îl vom studia în general la selecția fără revenire (Cursul 3). În R, probabilitățile de la (c) sunt dhyper(0, 5, 45, 5) și dbinom(0, 5, 0.1). Deci, fără revenire, \(\PP_5(X=0)\approx0.5766\) și \(\Var_5(X)\approx0.4133\), iar cu revenire \(\PP_5(X=0)=0.59049\) și \(\Var_5(X)=0.45\).

Verificare în R. Calculăm, pentru \(D=5\), întreaga repartiție a lui \(X\) în cele două modele (în procente), apoi varianțele, direct din definiție: \(\Var(X)=\sum_kk^2\,\PP(X=k)-\big(\sum_kk\,\PP(X=k)\big)^2\).

k <- 0:5                                  # valorile posibile ale lui X
p_fara <- dhyper(k, 5, 45, 5)             # fără revenire: HGeom(50, 5, 5)
p_cu <- dbinom(k, 5, 0.1)                 # cu revenire: Bin(5, 0.1)
tab <- rbind(fara_revenire = p_fara, cu_revenire = p_cu)
colnames(tab) <- paste0("k=", k)
round(100 * tab, 2)                       # probabilitățile, în procente
#>                 k=0   k=1  k=2  k=3  k=4 k=5
#> fara_revenire 57.66 35.16 6.70 0.47 0.01   0
#> cu_revenire   59.05 32.80 7.29 0.81 0.05   0
c(var_fara = sum(k^2 * p_fara) - sum(k * p_fara)^2,
  var_cu = sum(k^2 * p_cu) - sum(k * p_cu)^2)
#> var_fara   var_cu 
#>   0.4133   0.4500

Prima coloană a tabelului conține probabilitățile de la (c), \(57.66\%\) și \(59.05\%\). Cele două repartiții sunt apropiate, dar cea hipergeometrică este puțin mai concentrată: dă probabilități mai mici valorilor extreme \(k=0\) și \(k\ge2\) și mai mare valorii \(k=1\). Varianțele afișate, \(0.4133\) și \(0.45\), sunt cele calculate mai sus.

Exercițiul 2 (Exponențiala translatată)

Fie \(X_1,\dots,X_n\) un eșantion din populația cu densitatea \(f_\theta(x)=e^{-(x-\theta)}\), \(x\ge\theta\) (\(f_\theta(x)=0\) pentru \(x<\theta\)), unde \(\theta\in\R\) este necunoscut. (a) Precizați modelul statistic; este el dominat și identificabil? (b) Determinați repartiția lui \(X_{(1)}\) și arătați că \(n(X_{(1)}-\theta)\sim\Exp(1)\). (c) Arătați că \(T_1=\Xbar-1\) și \(T_2=X_{(1)}-\frac1n\) au ambii media \(\theta\) și comparați varianțele lor.

Soluție

Ce se cere și ce folosim. La (a): componentele modelului, densitatea comună (Propoziția 10) și criteriul de identificabilitate (Lema 6). La (b): repartiția minimului (Propoziția 15). La (c): media și varianța a doi estimatori, cu proprietățile mediei și ale varianței din Cursul 1.

Structura modelului. Pentru \(y\ge0\), \(\PP_\theta(X-\theta\le y)=\int_\theta^{\theta+y}e^{-(x-\theta)}\dd x=1-e^{-y}\), deci \(X=\theta+E\) cu \(E\sim\Exp(1)\): \(\theta\) este un parametru de locație, care deplasează suportul \([\theta,\infty)\).

  1. Modelul pentru o observație este \(\big(\R,\B(\R),\{\PP_\theta\}_{\theta\in\R}\big)\), cu \(\PP_\theta(A)=\int_Ae^{-(x-\theta)}\Ind_{[\theta,\infty)}(x)\dd x\); pentru eșantion, \(\PP_\theta^{\otimes n}\) pe \(\R^n\), cu densitatea comună (Propoziția 10) \[ f_\theta(x_1,\dots,x_n)=\prod_{i=1}^ne^{-(x_i-\theta)}\Ind_{[\theta,\infty)}(x_i)=e^{n\theta-\sum_ix_i}\,\Ind_{[\theta,\infty)}\big(\min_ix_i\big), \] unde am folosit că produsul indicatorilor este \(1\) exact când toate \(x_i\ge\theta\), adică \(\min_ix_i\ge\theta\). Modelul este parametric (\(\Theta=\R\)) și dominat de măsura Lebesgue (fiecare \(\PP_\theta\) are densitate). Pentru identificabilitate calculăm media, cu substituția \(y=x-\theta\) (\(\dd y=\dd x\); când \(x\) parcurge \([\theta,\infty)\), \(y\) parcurge \([0,\infty)\)): \[ \E_\theta[X]=\int_\theta^\infty xe^{-(x-\theta)}\dd x=\int_0^\infty(y+\theta)e^{-y}\dd y=\int_0^\infty ye^{-y}\dd y+\theta\int_0^\infty e^{-y}\dd y=1+\theta , \] deoarece \(\int_0^\infty e^{-y}\dd y=1\) și \(\int_0^\infty ye^{-y}\dd y=\Gamma(2)=1\) (media repartiției \(\Exp(1)\)). Aplicația \(\theta\mapsto1+\theta\) este injectivă, deci, din Lema 6, modelul este identificabil. Modelul este deci parametric, dominat de măsura Lebesgue și identificabil.

  2. Pentru \(x\ge\theta\), \(\PP_\theta(X>x)=\int_x^\infty e^{-(t-\theta)}\dd t=\big[-e^{-(t-\theta)}\big]_x^\infty=e^{-(x-\theta)}\), iar pentru \(x<\theta\) această probabilitate este \(1\). Din Propoziția 15 (demonstrația ei, Pasul 1), \[ \PP_\theta(X_{(1)}>x)=\prod_{i=1}^n\PP_\theta(X_i>x)=\big(e^{-(x-\theta)}\big)^n=e^{-n(x-\theta)},\qquad x\ge\theta, \] și \(\PP_\theta(X_{(1)}>x)=1\) pentru \(x<\theta\). Deci \(X_{(1)}\) are funcția de repartiție \(1-e^{-n(x-\theta)}\) pentru \(x\ge\theta\) (\(0\) în rest) și, derivând, densitatea \(ne^{-n(x-\theta)}\) pe \([\theta,\infty)\); în particular, pentru \(y\ge0\), \(\PP_\theta(X_{(1)}-\theta>y)=\PP_\theta(X_{(1)}>\theta+y)=e^{-ny}\), adică \(X_{(1)}-\theta\sim\Exp(n)\). Tot pentru \(y\ge0\), \[ \PP_\theta\big(n(X_{(1)}-\theta)\le y\big)=\PP_\theta\Big(X_{(1)}\le\theta+\frac yn\Big)=1-e^{-n\cdot y/n}=1-e^{-y}, \] funcția de repartiție a lui \(\Exp(1)\) (pentru \(y<0\) probabilitatea este \(0\), deoarece \(X_{(1)}\ge\theta\) a.s.). Remarcabil, repartiția lui \(n(X_{(1)}-\theta)\) nu depinde de \(\theta\). Deci \(X_{(1)}\) are densitatea \(ne^{-n(x-\theta)}\) pe \([\theta,\infty)\), iar \(n(X_{(1)}-\theta)\sim\Exp(1)\).

  3. Din (a) și din Corolarul 43 din Cursul 1, \(\E_\theta[\Xbar]=\E_\theta[X_1]=\theta+1\), deci \(\E_\theta[T_1]=\E_\theta[\Xbar]-1=\theta\). Din (b), \(E'=n(X_{(1)}-\theta)\sim\Exp(1)\), adică \(X_{(1)}=\theta+\frac1nE'\), cu \(\E[E']=1\) și \(\Var(E')=1\) (Exemplul 16 din Cursul 1); deci \(\E_\theta[X_{(1)}]=\theta+\frac1n\) și \(\E_\theta[T_2]=\E_\theta[X_{(1)}]-\frac1n=\theta\). Pentru varianțe folosim \(\Var(aY+b)=a^2\Var(Y)\) (Propoziția 25 din Cursul 1): \(\Var_\theta(X)=\Var(\theta+E)=\Var(E)=1\), deci \(\Var_\theta(T_1)=\Var_\theta(\Xbar-1)=\Var_\theta(\Xbar)=\frac1n\) (Corolarul 43 din Cursul 1); iar \(\Var_\theta(T_2)=\Var\big(\theta+\frac1nE'-\frac1n\big)=\frac1{n^2}\Var(E')=\frac1{n^2}\). Ambii estimatori au media \(\theta\), dar varianța lui \(T_2\) este de \(n\) ori mai mică: situația este inversă față de cea din modelul exponențial (Exemplul 23) și analogă Exemplului 24. Minimul „simte” direct marginea suportului, care este chiar parametrul, iar eroarea lui este de ordinul \(1/n\), nu \(1/\sqrt n\).

Pe un set mic de date. Pentru \(n=5\) și observațiile \(3.4,\ 2.3,\ 2.9,\ 5.1,\ 2.6\) (suma \(16.3\), minimul \(2.3\)), estimațiile sunt \(T_1=\frac{16.3}{5}-1=3.26-1=2.26\) și \(T_2=2.3-\frac15=2.1\). Minimul observat arată, fără niciun calcul, că \(\theta\le2.3\); estimatorul \(T_2\) folosește direct această informație, pe când \(T_1\) o ignoră.

Verificare prin simulare. Generăm \(10\,000\) de eșantioane de volum \(n=5\) pentru \(\theta=2\) (o observație este \(\theta+E\), cu \(E\sim\Exp(1)\)), calculăm cei doi estimatori pe fiecare eșantion și comparăm mediile și varianțele lor cu valorile teoretice: media \(\theta=2\) pentru amândoi, varianțele \(\frac1n=0.2\) și \(\frac1{n^2}=0.04\).

set.seed(29)
th0 <- 2; n5 <- 5
T12 <- replicate(10000, { x <- th0 + rexp(n5)       # un eșantion
                          c(T1 = mean(x) - 1, T2 = min(x) - 1 / n5) })
round(rbind(media = rowMeans(T12), varianta = apply(T12, 1, var),
            var_teoretica = c(1 / n5, 1 / n5^2)), 4)
#>                  T1    T2
#> media         1.997 1.996
#> varianta      0.200 0.039
#> var_teoretica 0.200 0.040

Ambele medii simulate sunt foarte apropiate de \(\theta=2\) (\(1.997\) și \(1.996\)), iar varianțele simulate (\(0.200\) și \(0.039\)) de valorile teoretice din ultima linie: cu numai cinci observații, estimatorul bazat pe minim este de cinci ori mai precis (în varianță) decât cel bazat pe medie.

Exercițiul 3 (Captură–recaptură)

Pentru a estima numărul \(N\) (necunoscut) de pești dintr-un lac, se capturează \(m_0=50\) de pești, care sunt marcați și eliberați. După un timp se capturează \(m_1=40\) de pești și se numără peștii marcați printre ei: \(X=8\). Presupunem că la a doua captură toate submulțimile de \(m_1\) pești sunt egal probabile. (a) Descrieți modelul statistic; este el identificabil? (b) Propuneți un estimator al lui \(N\) și calculați estimația. (c) Pentru ce valori ale lui \(N\) este maximă probabilitatea \(L(N)=\PP_N(X=8)\) a observației?

Soluție

Ce se cere și ce folosim. Aici parametrul necunoscut este mărimea populației, nu o proporție. La (a) construim modelul prin numărare, ca în Exercițiul 1, și aplicăm Lema 6; la (b) propunem un estimator pornind de la o egalitate de proporții; la (c) maximizăm funcția \(N\mapsto L(N)\) pe o mulțime de numere întregi, unde derivata nu ne poate ajuta.

  1. Lacul conține \(N\) pești, dintre care \(m_0\) marcați, iar a doua captură este o submulțime de \(m_1\) pești, aleasă uniform dintre cele \(\binom{N}{m_1}\) posibile. Submulțimile cu exact \(k\) pești marcați se obțin alegând \(k\) pești dintre cei \(m_0\) marcați și \(m_1-k\) dintre cei \(N-m_0\) nemarcați. Observația \(X\) numără peștii marcați dintre cei \(m_1\) capturați, deci, ca la extragerea fără revenire din Exercițiul 1, \(X\sim\HGeom(N,m_0,m_1)\): \[ \PP_N(X=k)=\frac{\binom{m_0}{k}\binom{N-m_0}{m_1-k}}{\binom{N}{m_1}},\qquad \max(0,m_1-N+m_0)\le k\le m_1 . \] Modelul este \(\big(\{0,\dots,m_1\},\mathcal{P}(\{0,\dots,m_1\}),\{\HGeom(N,m_0,m_1)\}_{N\in\Theta}\big)\), cu \(\Theta=\{N\in\N:\ N\ge m_0\}\) (lacul conține cel puțin peștii marcați; aici \(m_0\ge m_1\)). Media \(\E_N[X]=m_1\frac{m_0}{N}=\frac{2000}{N}\) este strict descrescătoare în \(N\), deci modelul este identificabil (Lema 6). Spațiul parametrilor este discret: nu putem deriva în raport cu \(N\). Deci \(X\sim\HGeom(N,m_0,m_1)\), cu \(N\in\Theta=\{N\in\N:\ N\ge m_0\}\), iar modelul este identificabil.

  2. Proporția peștilor marcați în a doua captură, \(X/m_1\), aproximează proporția lor în lac, \(m_0/N\). Egalându-le, \(\frac{X}{m_1}=\frac{m_0}{N}\), și rezolvând în raport cu \(N\) obținem estimatorul Lincoln–Petersen \(\hat N=\frac{m_0m_1}{X}\), cu estimația \(\hat N=2000/8=250\). În cuvinte: \(8\) din \(40\), adică \(20\%\) dintre peștii recapturați, sunt marcați; dacă aceeași proporție este valabilă în tot lacul, cei \(50\) de pești marcați reprezintă \(20\%\) din populație, deci \(N\approx50/0.2=250\). Cum \(\PP_N(X=0)>0\) de îndată ce \(N\ge m_0+m_1=90\) (lacul conține cel puțin \(m_1\) pești nemarcați), estimatorul poate lua valoarea \(+\infty\); varianta \(\frac{(m_0+1)(m_1+1)}{X+1}-1\) (Chapman) evită problema și dă aici \(\frac{51\cdot41}{9}-1\approx231.3\).

  3. Notăm \(x=8\) valoarea observată, deci \(L(N)=\binom{m_0}{x}\binom{N-m_0}{m_1-x}\big/\binom{N}{m_1}\). Observația \(X=x\) este posibilă doar dacă lacul conține cel puțin \(m_1-x\) pești nemarcați, adică \(N-m_0\ge m_1-x\), \(N\ge m_0+m_1-x=82\); pentru \(N<82\), \(L(N)=0\). Pentru a găsi maximul unei funcții de o variabilă întreagă studiem raportul a doi termeni consecutivi. Folosim identitatea, valabilă pentru întregi \(a>b\ge0\), \[ \frac{\binom ab}{\binom{a-1}b}=\frac{a!}{b!\,(a-b)!}\cdot\frac{b!\,(a-1-b)!}{(a-1)!}=\frac{a}{a-b} . \] Pentru \(N>m_0+m_1-x\) (astfel încât \(L(N-1)>0\)), factorul \(\binom{m_0}{x}\) se simplifică, iar identitatea, aplicată cu \((a,b)=(N-m_0,\,m_1-x)\) și cu \((a,b)=(N,\,m_1)\), dă \[ \begin{aligned} \frac{L(N)}{L(N-1)}&=\frac{\binom{N-m_0}{m_1-x}}{\binom{N-1-m_0}{m_1-x}}\cdot\frac{\binom{N-1}{m_1}}{\binom{N}{m_1}}=\frac{N-m_0}{N-m_0-m_1+x}\cdot\frac{N-m_1}{N}\\ &=\frac{(N-m_0)(N-m_1)}{N(N-m_0-m_1+x)} . \end{aligned} \] Numitorul fiind pozitiv, raportul este \(\ge1\) dacă și numai dacă \((N-m_0)(N-m_1)\ge N(N-m_0-m_1+x)\); dezvoltând, \(N^2-(m_0+m_1)N+m_0m_1\ge N^2-(m_0+m_1)N+xN\), adică \(m_0m_1\ge xN\), deci \(N\le\frac{m_0m_1}{x}=\frac{2000}8=250\), cu egalitate a raportului cu \(1\) exact pentru \(N=250\). Așadar \(L(N)>L(N-1)\) pentru \(83\le N\le249\), \(L(250)=L(249)\) și \(L(N)<L(N-1)\) pentru \(N\ge251\): \(L\) crește strict până la \(N=249\), apoi descrește strict de la \(N=250\), deci maximul este atins în \(N\in\{249,250\}\). Estimatorul de verosimilitate maximă (Cursul 9) este practic \(\lfloor m_0m_1/x\rfloor\) — aceeași idee ca la (b).

    De exemplu, pentru \(N=200\) raportul este \(\frac{150\cdot160}{200\cdot118}=\frac{24\,000}{23\,600}\approx1.017>1\), iar pentru \(N=300\) este \(\frac{250\cdot260}{300\cdot218}=\frac{65\,000}{65\,400}\approx0.994<1\). Câteva valori ale funcției: \(L(200)\approx0.1214\), \(L(249)=L(250)\approx0.1701\), \(L(300)\approx0.1421\). Funcția variază lent în jurul maximului: pentru \(N=200\) și pentru \(N=300\) probabilitatea observației este încă \(71\%\), respectiv \(84\%\) din valoarea maximă, semn că o singură recaptură de \(40\) de pești determină \(N\) destul de imprecis.

Verificare în R. Calculăm \(L(N)\) pentru \(N=82,\dots,600\) cu funcția de masă hipergeometrică dhyper (argumentele: numărul de pești marcați observați, numărul celor marcați din lac, numărul celor nemarcați, volumul capturii) și afișăm valorile lui \(N\) în care \(L\) își atinge maximul (cu o toleranță relativă de \(10^{-9}\), pentru a nu pierde egalitatea \(L(249)=L(250)\) din cauza rotunjirilor).

N <- 82:600                                  # valori posibile (N >= 82)
L <- dhyper(8, 50, N - 50, 40)               # L(N) = P_N(X = 8)
N[L > max(L) * (1 - 1e-9)]                   # punctele de maxim
#> [1] 249 250

Rezultatul, \(249\) și \(250\), confirmă calculul de la (c).

Exercițiul 4 (Precizia unui sondaj)

Într-un sondaj cu \(n=1\,000\) de persoane, proporția adevărată a susținătorilor unui candidat este \(p=0.4\). (a) Aproximați, cu ajutorul TLC, probabilitatea ca proporția observată \(\hat p\) să difere de \(p\) cu cel mult \(0.03\). (b) Calculați valoarea exactă și aproximarea cu corecție de continuitate. (c) Ce volum ar asigura aceeași precizie cu probabilitatea \(0.99\)?

Soluție

Ce se cere și ce folosim. Ca în Exemplul 3, răspunsurile celor \(n\) persoane sunt i.i.d. \(\Bern(0.4)\), iar statistica este proporția \(\hat p=S/n\), unde \(S=\sum_iX_i\) este numărul susținătorilor din eșantion. Din Propoziția 12(a), \(S\sim\Bin(1000,0.4)\): repartiția de eșantionare a lui \(\hat p\) este cunoscută exact, iar cele trei întrebări cer probabilități calculate cu ea sau cu aproximarea ei normală. Avem \(\E[\hat p]=0.4\) și \[ \sqrt{\Var(\hat p)}=\sqrt{\frac{0.4\cdot0.6}{1000}}=\sqrt{0.00024}\approx0.01549 . \]

  1. Din TLC (Teorema 64 din Cursul 1), \(Z_n=(\hat p-0.4)/0.01549\) are aproximativ repartiția \(\Norm(0,1)\). Împărțind inegalitatea \(|\hat p-0.4|\le0.03\) la \(0.01549\), \[ \PP(|\hat p-0.4|\le0.03)=\PP\Big(|Z_n|\le\frac{0.03}{0.01549}\Big)\approx2\Phi(1.9365)-1\approx2\cdot0.9736-1=0.9472 . \] Deci aproximarea TLC dă \(\PP(|\hat p-0.4|\le0.03)\approx0.9472\).

  2. Valoarea exactă. Înmulțind cu \(n=1000\), evenimentul \(\{|\hat p-0.4|\le0.03\}\) devine \(\{370\le S\le430\}\), iar \(S\) ia valori întregi, deci \[ \PP(370\le S\le430)=\sum_{k=370}^{430}\binom{1000}{k}0.4^k\,0.6^{1000-k}\approx0.9511, \] valoare calculată în R ca \(\PP(S\le430)-\PP(S\le369)\), adică pbinom(430, 1000, 0.4) - pbinom(369, 1000, 0.4).

    Corecția de continuitate (cea care însoțește teorema Moivre–Laplace, Corolarul 65 din Cursul 1) înlocuiește evenimentul cu \(\{369.5\le S\le430.5\}\), pentru a ține seama de faptul că \(S\) este discretă, iar repartiția care o aproximează este continuă. Cum \(\E[S]=400\) și \(\Var(S)=1000\cdot0.4\cdot0.6=240\), \[ \PP(370\le S\le430)\approx2\Phi\Big(\frac{30.5}{\sqrt{240}}\Big)-1=2\Phi(1.9688)-1\approx0.9510, \] mult mai aproape de valoarea exactă decât rezultatul de la (a): eroarea scade de la aproximativ \(0.004\) la mai puțin de \(0.0001\). Deci valoarea exactă este \(\approx0.9511\), iar aproximarea cu corecție de continuitate \(\approx0.9510\).

  3. Pentru un volum \(n\) oarecare, abaterea standard a lui \(\hat p\) este \(\sqrt{0.24/n}\), iar aproximarea normală dă, exact ca la (a), \[ \PP(|\hat p-0.4|\le0.03)\approx2\Phi\Big(\frac{0.03\sqrt n}{\sqrt{0.24}}\Big)-1 . \] Funcția \(\Phi\) fiind strict crescătoare, \(2\Phi(a)-1\ge0.99\iff\Phi(a)\ge0.995\iff a\ge z_{0.995}\approx2.5758\). Condiția \(0.03\sqrt n/\sqrt{0.24}\ge2.5758\) înseamnă \[ n\ge0.24\cdot\Big(\frac{2.5758}{0.03}\Big)^2\approx1\,769.3, \] deci \(n=1\,770\). Verificăm cu repartiția exactă: \(0.37\cdot1770=654.9\) și \(0.43\cdot1770=761.1\), deci evenimentul este \(\{655\le S\le761\}\), cu \(S\sim\Bin(1770,0.4)\), iar probabilitatea lui, pbinom(761, 1770, 0.4) - pbinom(654, 1770, 0.4), este \(\approx0.9906\). Pentru a trece de la probabilitatea \(\approx0.95\) (cât era pentru \(n=1\,000\)) la \(0.99\) cu aceeași marjă de eroare, volumul eșantionului trebuie mărit de aproape \(1.8\) ori.

De reținut

Noțiunile și formulele esențiale ale cursului sunt următoarele.

  • Probabilități: model cunoscut \(\Rightarrow\) ce date observăm? Statistică: date observate \(\Rightarrow\) ce model? Trei tipuri de răspuns: estimare punctuală (un număr), interval de încredere (un interval), test (o decizie); toate folosesc repartiția de eșantionare a unei statistici.
  • Model statistic: \(\xi=\big(\Omega,\F,\{\PP_\theta\}_{\theta\in\Theta}\big)\); parametric dacă \(\Theta\subseteq\R^d\), neparametric dacă \(\Theta\) este infinit-dimensional. Urna: \(\Omega=\{r,v\}^n\), \(\PP_\theta(\{\omega\})=\theta^s(1-\theta)^{n-s}\), \(X_i\sim\Bern(\theta)\) independente, \(S_n\sim\Bin(n,\theta)\), \(\E_\theta[M_n]=\theta\), \(\Var_\theta(M_n)=\theta(1-\theta)/n\le1/(4n)\).
  • Dominat: \(\PP_\theta\ll\nu\) (\(\nu\) \(\sigma\)-finită) pentru orice \(\theta\); densitatea \(f_\theta=\dd\PP_\theta/\dd\nu\) este funcția de masă pentru măsura de numărare și densitatea obișnuită pentru măsura Lebesgue.
  • Identificabil: \(\theta\mapsto\PP_\theta\) injectivă; se verifică găsind o mărime \(\Psi(\PP_\theta)\) injectivă în \(\theta\) (medie, probabilitate, moment); neidentificabil: două valori ale lui \(\theta\) cu aceeași repartiție. Fără identificabilitate nu există estimatori consistenți.
  • Eșantion: \(X_1,\dots,X_n\) independente, cu \(\PP\circ X_i^{-1}=Q\) (notație: \(X_1,\dots,X_n\sim Q\), \(\sim F\) sau \(\sim f\)); vectorul de selecție are repartiția \(Q^{\otimes n}\) și densitatea \(\prod_if_\theta(x_i)\) în raport cu \(\nu^{\otimes n}\).
  • Statistică: \(T_n=h(X_1,\dots,X_n)\), \(h\) măsurabilă și independentă de \(\theta\); estimator = statistică folosită pentru a aproxima \(g(\theta)\); \(\E_\theta[(T_n-g(\theta))^2]=\Var_\theta(T_n)+(\E_\theta T_n-g(\theta))^2\).
  • Repartiții exacte (\(M_{S_n}=M^n\) + unicitate, sau convoluție): Bernoulli \(\to\) \(S_n\sim\Bin(n,\theta)\); Poisson \(\to\) \(S_n\sim\Pois(n\lambda)\); exponențială \(\to\) \(S_n\sim\GammaD(n,\lambda)\), \(\Xbar\sim\GammaD(n,n\lambda)\), \(\PP(S_n>t)=\sum_{k<n}e^{-\lambda t}(\lambda t)^k/k!\); normală \(\to\) \(\Xbar\sim\Norm(\mu,\sigma^2/n)\).
  • Extreme: \(F_{X_{(n)}}=F^n\), \(F_{X_{(1)}}=1-(1-F)^n\); exponențială: \(nX_{(1)}\sim\Exp(\lambda)\); uniformă: \(F_{X_{(n)}}(x)=(x/\theta)^n\), \(\E X_{(n)}=\frac{n\theta}{n+1}\).
  • R: dbinom, pbinom, dhyper, ppois, pgamma(x, shape, rate), pnorm, qnorm, binom.test, replicate pentru repartiții de eșantionare simulate.

Legătura cu cursurile următoare. Am văzut că pentru a vorbi despre eșantioane avem nevoie de variabile aleatoare independente cu o repartiție dată, iar pentru rezultatele asimptotice, de un șir infinit de astfel de variabile; în Cursul 3 vom demonstra existența lor (cu ajutorul funcției cuantilă) și vom studia selecția din populații finite, cu și fără revenire, care generalizează Exercițiul 1. În Cursul 4 vom învăța să simulăm eșantioane din orice repartiție, pentru a aproxima repartițiile de eșantionare care nu se pot calcula exact. Repartițiile exacte ale statisticilor pentru populații normale (\(\chi^2\), Student, Fisher) sunt subiectul din Cursul 5, iar statisticile de ordine și funcția de repartiție empirică, care generalizează minimul și maximul de astăzi, cel din Cursul 6. Întrebările despre calitatea estimatorilor, formulate în Secțiunea 6, vor primi un răspuns sistematic începând cu Cursul 7.

Bibliografie

Billingsley, Patrick. 1995. Probability and Measure. 3rd ed. Wiley.
Casella, George, and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
Delmas, Jean-François. 2010. Introduction Au Calcul Des Probabilités Et à La Statistique. Les Presses de l’ENSTA.
Guyader, Arnaud. 2025. Statistique – Master 1 Mathématiques Et Applications, Polycopié de Cours. Sorbonne Université.
Hogg, Robert V., Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
Jacod, Jean, and Philip Protter. 2004. Probability Essentials. 2nd ed. Springer.
Knight, Keith. 2000. Mathematical Statistics. Texts in Statistical Science. Chapman & Hall/CRC.
Martin, Ryan. 2015. Lecture Notes on Statistical Theory. Note de curs, Stat 411, University of Illinois at Chicago.
Moulines, Éric. 2024. MAA304 Statistics – Slide-Uri de Curs Și Seminare (TD) Cu Soluții. Bachelor of Science, École polytechnique.
Panaretos, Victor M. 2016. Statistique Pour Mathématiciens. Presses polytechniques et universitaires romandes.
Vaart, Aad W. van der. 1998. Asymptotic Statistics. Cambridge University Press.